# Cycle γ — External Benchmark Integration (RGB + ALCE + MuSiQue + 2WikiMultiHopQA) — Design Memo

> Cycle β #1+#1.5+#2 closure 후 진입할 cycle γ 의 design memo.
> 외부 벤치 4 개 (RGB + ALCE + MuSiQue + 2WikiMultiHopQA) 를 JAMES
> system-layer 의 외부 검증으로 통합. publication-grade framework
> comparison evidence + v0.5 진입 게이트 강화 + mid-June joint piece.

## 0. TL;DR

cycle β 의 mother-platform 가치 입증 = §36 4-layer build-up (MultiHop-
RAG 단일 외부 벤치). **단일 벤치 evidence 는 publication-grade 아님**.
cycle γ = 4 외부 벤치 통합 측정으로 publication-grade framework
comparison evidence 확보 + JAMES system-layer 의 진짜 외부 검증.

## 1. Why — 외부 벤치 통합의 진짜 가치

### JAMES system-layer 의 외부 검증 gap

corpus retrieval analysis (PR #712, `corpus-retrieval-competitive-
analysis-20260605.md`) 의 §4 매핑:

| JAMES system layer | external bench | 현재 측정 상태 |
|---|---|---|
| Hybrid retrieval | BEIR / MTEB | ❌ 안 됨 |
| **Abstention F1** | **RGB / RAGTruth** | ❌ MultiHop-RAG abst_f1 만 (single bench) |
| **Citation** | **ALCE (ASQA/QAMPARI/ELI5)** | ❌ JAMES citation primitive 측정 안 됨 |
| **Graph-RAG (DFS + ACT)** | **MuSiQue / 2WikiMultiHopQA** | ❌ MultiHop-RAG primary 만 |
| Entity-anchor expansion | (no dedicated) | △ indirect Recall@k |
| QVT 5-axis | RAGAS / ARES | △ framework only |
| ABAC / Replay | (no public bench) | ✗ no bench |

→ **publication-grade evidence = 다 벤치 cross-confirm**. 단일 벤치
(MultiHop-RAG) verdict 는 weak.

### 4 path 모두 본 cycle γ 가 필요한 곳

| Path | cycle γ evidence 필요성 |
|---|---|
| v0.5 진입 게이트 (D2 Reasoning Quality) | MultiHop-RAG 단일 → 4 벤치 cross-confirm |
| mid-June joint piece (Robin/Ali) | publication-grade evidence 강함 |
| 학계 publication | "single-bench" weakness → "cross-bench validation" 강 |
| Mother-platform value claim | 4-axis 외부 검증 |

## 2. 4 벤치 정밀화

### 2.1 RGB (Retrieval-Augmented Generation Benchmark) — Abstention 외부 검증

**Source**: Chen et al. 2024 EMNLP, `arXiv:2309.01431`

**구조**:
- Information retrieval + Generation 측정
- 4 axis: Noise robustness / Negative rejection / Information integration / Counterfactual robustness
- **Negative rejection ≈ JAMES abstention F1** 직접 매치

**Fixture**:
- ~600 questions (English + Chinese)
- Multi-document context (3-5 documents per question)
- gold answer + abstention label

**JAMES 측정 환경**:
- production Default (advanced 스택 ON)
- AnswerStyleClassifier auto-mount
- 답 형식 = first line ANSWER:

**측정 metric**:
- Negative rejection accuracy (JAMES abstention F1 ↔ RGB negative rejection)
- Noise robustness (citation 강건성)

**Cost**:
- ~600 query × 양 모델 = 1200 queries
- e4b ~35s + advanced ON 60% overhead = ~55s → ~10h
- mixtral ~75s + overhead = ~120s → ~20h
- 총 ~30h CPU

**Value tier**: ⭐⭐⭐ (JAMES-unique 강점 + 외부 evidence + Track A 권고)

### 2.2 ALCE (Automatic LLM Citation Evaluation) — Citation 외부 검증

**Source**: Gao et al. 2023, `arXiv:2305.14627`

**구조**:
- 3 fixtures: ASQA / QAMPARI / ELI5
- Citation precision / recall 자동 채점
- Long-form generation + entity-grounded citations

**Fixture**:
- ASQA: ~948 questions (long-form QA with multi-document evidence)
- QAMPARI: ~1000 questions (list-based answers)
- ELI5: ~1000 questions (long explanation)

**JAMES 측정 환경**:
- production Default + AnswerStyleClassifier auto-mount
- citation 메커니즘 = `core/reasoning/pipeline.py:343` `sources: docs[:3]`
- response_style = "natural" (long-form, ALCE 자동 분류)

**측정 metric**:
- Citation precision (% 답 안 citation 이 정답 source 인지)
- Citation recall (% 정답 source 가 답 안 cited 인지)

**Cost**:
- ALCE 권장 = ASQA + QAMPARI 우선 (~2000 query × 양 모델 = 4000)
- e4b ~35s × 0.6 (no advanced) = ~12-18h
- mixtral ~75s × 0.6 = ~30-40h
- 총 ~50h CPU
- **smoke option**: n=200 sample × 양 모델 = ~5-7h

**Value tier**: ⭐⭐⭐ (JAMES citation 외부 evidence + ALCE = de facto citation standard)

### 2.3 MuSiQue (Multi-step QA) — Graph-RAG 외부 검증

**Source**: Trivedi et al. 2022, `arXiv:2108.00573`

**구조**:
- 2-hop / 3-hop / 4-hop questions
- Wikipedia paragraphs as context
- Decomposed reasoning chain

**Fixture**:
- Train ~25K, Dev ~2.5K
- 측정 권장: Dev sample n=500-1000

**JAMES 측정 환경**:
- production Default + advanced 스택 ON (planner 가 multi-hop 분해)
- graph-RAG path coverage (DFS + ACT)

**측정 metric**:
- EM (exact match)
- F1 (partial match)
- Support fact accuracy (path coverage 외부 정합)

**Cost**:
- n=500 × 양 모델 = 1000 queries
- e4b ~55s = ~8-10h
- mixtral ~120s = ~17-20h
- 총 ~30h CPU

**Value tier**: ⭐⭐ (MultiHop-RAG 와 같은 type 이라 cross-bench 정합 evidence)

### 2.4 2WikiMultiHopQA — Multi-hop Cross-bench Confirm

**Source**: Ho et al. 2020, `arXiv:2011.01060`

**구조**:
- 2-hop questions
- Wikipedia paragraph evidence
- Comparison / inference / bridge question types

**Fixture**:
- Train ~167K, Dev ~12K
- 측정 권장: Dev sample n=500

**JAMES 측정 환경**:
- production Default + advanced 스택 ON
- comparison/inference query type 와 JAMES 의 4 question_type fixture 정합

**측정 metric**:
- EM / F1
- Support fact accuracy

**Cost**:
- n=500 × 양 모델 = 1000 queries
- ~30h CPU 양 모델 통합

**Value tier**: ⭐⭐ (multi-hop cross-bench 정합 + Multi-bench Δ evidence)

## 3. Phase 분해

### Phase A: Fixture loader + scoring infrastructure (~1-2 days)

| 작업 | file |
|---|---|
| RGB fixture loader | `eval/external/rgb_loader.py` |
| ALCE (ASQA + QAMPARI) loader | `eval/external/alce_loader.py` |
| MuSiQue loader | `eval/external/musique_loader.py` |
| 2WikiMultiHopQA loader | `eval/external/wikimulti_loader.py` |
| RGB scorer (negative rejection F1) | `eval/external/rgb_scorer.py` |
| ALCE scorer (citation precision/recall) | `eval/external/alce_scorer.py` |
| MuSiQue scorer (EM/F1/support_fact) | `eval/external/musique_scorer.py` |
| 2Wiki scorer (EM/F1/support_fact) | `eval/external/wikimulti_scorer.py` |
| Unified external bench runner | `scripts/research/external_bench_run.py` |

### Phase B: Smoke validation (n=20 sample 각 벤치, ~2h CPU)

각 벤치 n=20 sample × e4b 만:
- Loader 정상 동작 확인
- Scorer 정상 동작 확인
- JAMES production Default 답 양식 정합 확인
- Cost validation (cost 추정 검증)

### Phase C: Full measurement — 양 모델 × 4 벤치

#### C.1: RGB full + ALCE smoke (~30-40h CPU)
- RGB full (n=600) × e4b + mixtral
- ALCE smoke (n=200) × e4b + mixtral
- JAMES abstention + citation 외부 evidence 확보

#### C.2: MuSiQue + 2Wiki sample (~40h CPU)
- MuSiQue n=500 × 양 모델
- 2WikiMultiHopQA n=500 × 양 모델
- Multi-hop cross-bench confirm

#### C.3: ALCE full (optional, n=1000-2000) (~30-50h CPU)
- ALCE ASQA + QAMPARI full
- Publication-grade citation evidence

### Phase D: Cross-bench analysis + publication evidence

| 분석 | 결과 |
|---|---|
| Per-bench JAMES performance vs paper baseline | 4 벤치 × 양 모델 표 |
| JAMES system-layer contribution per axis | abstention / citation / graph-RAG 각각 외부 evidence |
| Cross-bench consistency | 같은 mother-platform 가치가 4 벤치 모두 정합? |
| Mother-platform 6 원칙 외부 framework 차원 정합 | Layer B (PR #712) framework comparison 확장 |
| v0.5 진입 게이트 evidence | D2 Reasoning Quality 외부 검증 |
| mid-June joint piece evidence | publication-grade cross-bench |

## 4. Cost 정밀화 + 우선순위

### 총 cost 추정 (양 모델 통합)

| Phase | cost (CPU h) | 누적 cost (h) |
|---|---|---|
| Phase A loader/scorer | 0 (작업 시간) | 0 |
| Phase B smoke | 2 | 2 |
| Phase C.1 RGB full + ALCE smoke | ~40 | 42 |
| Phase C.2 MuSiQue + 2Wiki | ~40 | 82 |
| Phase C.3 ALCE full (optional) | ~30 | 112 |

→ Phase C.1 + C.2 (필수) = ~80h CPU = 3-4 일 background (양 모델
순차). publication 직전 C.3.

### 우선순위 (cost-benefit)

| 우선순위 | 작업 | 이유 |
|---|---|---|
| ⭐⭐⭐ 즉시 | Phase A loader/scorer + Phase B smoke | 인프라 + cost validation |
| ⭐⭐⭐ Phase C.1 | RGB full + ALCE smoke | JAMES-unique 강점 (abstention) + low-cost citation evidence |
| ⭐⭐ Phase C.2 | MuSiQue + 2Wiki | multi-hop cross-bench |
| ⭐ Phase C.3 | ALCE full | publication 직전 |

## 5. 측정 정합성 룰 (cycle β 박힘 적용)

### 5.1 honest framing rule (`feedback-finding-size-honest-framing`)

- 4 벤치 측정 후 framing tier 의무:
  - JAMES system-layer 가 외부 벤치 SOTA 인가? (대부분 NO 일 가능성)
  - "mid-pack but competitive" 정직 framing
  - Track A 권고 (PR #712) 의 "pass not advantage" 룰 적용

### 5.2 n=1 verdict inflation (`feedback-n1-verdict-inflation-n3-caught`)

- 각 벤치 single-run = ⭐ operational
- publication direct 인용 전 n=3 paired confirm
- Phase D 보고서 = n=1 caveat 의무 명시

### 5.3 fixture fitness (`feedback-fixture-fitness-before-verdict`)

- 각 벤치 의 role 명시:
  - RGB negative rejection = JAMES abstention verdict-grade
  - ALCE = JAMES citation verdict-grade
  - MuSiQue / 2Wiki = multi-hop cross-bench confirm-grade

### 5.4 evidence-grounded validity (`feedback-evidence-grounded-validity-check`)

- 각 벤치 fixture 의 LLM 학습-지식-leak 가능성 분리
- RGB (2024) / ALCE (2023) / MuSiQue (2022) / 2Wiki (2020) — 학습
  분포 leak 가능성 차이 평가
- Mixtral / gemma4:e4b 의 학습 cutoff 명시

### 5.5 methodological chain (`feedback-methodological-chain-before-plan`)

- Verdict Q: JAMES system-layer 가 4 벤치 모두에서 paper baseline 위?
- Diagnostic Q: 어느 벤치 underperform 시 어느 layer 원인?
- Fixture role: verdict-grade vs confirm-grade vs cross-bench 명시
- Logical 순서: A → B → C.1 → C.2 → D

## 6. 외부 framework comparison 의 5-layer 정합 (cycle 마감 doc §35 확장)

cycle 마감 doc §35 의 5-layer framework comparison:

| Layer | LlamaIndex 측 | JAMES 측 | 통제 변수 | 현 상태 |
|---|---|---|---|---|
| A | paper measurement | JAMES Default | model | §32 정량 |
| B | paper measurement | JAMES corpus + paper prompt + advanced OFF | corpus 등 | §34 정량 |
| C | JAMES corpus + LlamaIndex framework | JAMES Default | retrieval engine | ⏳ cycle β #8 |
| D | C + LlamaIndex advanced | JAMES Default | advanced 컴포넌트 | ⏳ cycle β #8 |
| E (빠짐) | LlamaIndex vanilla | JAMES 바닐라 넓은 정의 | production minimum | ⏳ cycle γ 안 |

→ cycle γ Phase D 안에서 Layer E 통합 측정 추가.

## 7. 진입 조건 + 출구 조건

### 진입 조건 (정정 2026-06-06 PM, 사용자 catch — "design-planned 인프라 다 갖추고 평가")

cycle γ 가 publication-grade evidence 가 되려면, JAMES 의 design-
planned 핵심 인프라 + measurement 인프라 + Layer 4 Lifecycle 의
미완 track 이 모두 land 된 상태에서 측정해야 한다. cycle β scope 의
잔여 작업 + v0.4.2 의 T5 가 cycle γ 의 prerequisite.

#### A. Cycle β 잔여 작업 (measurement 정합성 직접 prerequisite)

1. **cycle β #2 (AnswerStyleClassifier + v4 rule_text) closure** —
   진행 중 (PM-21 v4 measurement)
2. **cycle β #7 (runner sources count → list, path coverage)** —
   MuSiQue / 2WikiMultiHopQA support fact accuracy 측정 직접 필수.
   현재 runner 가 `sources` count 만 반환, list 아님 — path coverage
   외부 채점 못함. ~2-4h
3. **cycle β #6 (Hidden defect audit, cap[:1000] 패턴 N개)** —
   platform-wide defect 가 cycle γ 측정 신뢰성 위협. cap[:1000] 같은
   sub-1-line 잠재 결함 N 개 추가 진단. ~2-4h
~~4. cycle β #3 (NATURAL-grade oracle, LLM-judge / multi-axis)~~ —
   **skip (사용자 catch 2026-06-06 PM)**. self-eval 함정 회피:
   JAMES 가 자기 fixture + 자기 oracle 로 자기 답 채점 = "엄마 100점"
   패턴, publication / 학계 인정 X. **ALCE 표준 채점은 NLI-based
   자동 (Roberta-NLI)** = JAMES self-oracle 와 무관. cycle β #3
   prerequisite 차원 영향 없음.

#### B. v0.4.2 Layer 4 Lifecycle 잔여 track (cycle γ ABAC + replay evidence prerequisite)

5. **T5 — Replayable Audit Graph (full)** — partial in v0.4.0 via
   `reconstruct_view_at`, full event-sourced reconstruction = v0.4.2+
   deferred 박힘. **PR #712 corpus retrieval analysis §6 의 "replay
   invariant" claim 의 외부 검증 evidence 직접 prerequisite**. ~1-2
   day (T6 sequence 비슷)

#### C. 미완 정의 (cycle γ 무관, deferred 결정)

다음은 의도적 닫힘 / 보류 / 결정 결과이므로 cycle γ 진입 차단 안 함:

- T3 Evidence Aging (v0.4.2+ deferred — time-frozen 벤치라 영향 작음)
- T4 Reviewer Authority Hierarchy (v0.4.2+ deferred — admin only)
- Direction α S6/S7 cloud-tier (cycle 마감 보류, 10 PR 인프라 보존)
- α-7 top-K=10 (REJECT, universal regression)
- α-8 typed_filter (⭐ operational only, default ON 운영 중)
- Track 2c poison_01 (mechanism boundary deferred)
- β-1 reranker swap (pre-empirical skip)
- γ chunk size 2048 (reverted, no improvement)

#### D. Production Default 환경 정합

- response_style 미명시 시 AnswerStyleClassifier auto-mount (cycle β #2)
- advanced 스택 (planner / reflect / verify / query_rewrite / entity_anchor)
  ON (production .env default)
- cap=8000 (cycle 마감 PR-A flip)
- TERSE_PRESET v4 (structural ban only, quantitative cap 없음)
- inject_persona=False (TERSE), inject_character_directives=False (TERSE),
  inject_sources_header=False (TERSE) — cycle β #1+#1.5 PR-B/C land

### 출구 조건

- Phase A 인프라 land
- Phase B smoke 통과
- Phase C.1 + C.2 verdict (4 벤치 × 양 모델 × 7 axis = primary / strict
  / graded / abst_f1 / citation_precision / citation_recall / EM/F1)
- Phase D 보고서 + 정합성 분석
- Mother-platform 가치 cross-bench 정합 verdict
- v0.5 진입 게이트 D2 평가 evidence

## 8. v0.5 진입 게이트 연결

| D-axis | cycle γ 후 평가 |
|---|---|
| D1 Auditability | 유지 ✅ |
| D2 Reasoning Quality | cycle γ 4 벤치 cross-bench 정합 → ✅ 기대 |
| D3 Cost Control | 유지 ✅ |
| D4 Security Boundary | cycle β #6 + cycle γ ABAC 외부 demo (PR #712 Track B) |
| D5 Operator UX | cycle β #2 auto-mount + cloud tier 보존 |
| D6 Collaboration | cycle γ Phase D 보고서 + mid-June joint piece |

## 9. Mid-June joint piece (Robin/Ali) 연결

cycle γ Phase D 의 출력 = mid-June 3-author joint piece 의 evidence
직접 인용 가능:
- "JAMES mother-platform on 4 external benchmarks: cross-bench
  consistency evidence"
- Robin's spine framing + Ali's adversarial track + JAMES external
  validation 통합

## 10. 사용자 박은 룰 (cycle γ 진입 시 의무 reading)

- `feedback-finding-size-honest-framing` — 외부 SOTA 아닌 정직 framing
- `feedback-n1-verdict-inflation-n3-caught` — n=3 paired publication
  direct 인용 전
- `feedback-fixture-fitness-before-verdict` — 각 벤치 role 명시
- `feedback-evidence-grounded-validity-check` — LLM 학습 leak 분리
- `feedback-methodological-chain-before-plan` — plan 의 4 질문 의무
- `feedback-mother-platform-6-principles` — 6 원칙 외부 framework 차원
  확장
- `feedback-layer-b-framework-comparison-value` — Layer C/D/E + Scenario
  B+ 양 모델 동일 pattern
- `feedback-james-vanilla-definition` — 좁은/넓은 정의 적용
- `feedback-engine-memory-persona-name-leak` (cycle β #1+#1.5 combined)
  — 양식 forcing fix marginal evidence
- (NEW cycle γ) **외부 벤치 통합 = single-bench weakness 해결의 진짜
  evidence** — 단일 벤치 verdict 거부, 4+ cross-bench 정합 필수

## 11. CLAUDE.md / handover doc 갱신

- cycle β closure handover doc 에 cycle γ 진입 path 명시 (Path C)
- CLAUDE.md "Where to look next" 첫 행 = cycle β closure (현 entry),
  cycle γ design memo = "Next-cycle design"
- memory MEMORY.md 에 cycle γ design memo entry 추가
