# NEXT SESSION ENTRY — Cycle β #1 + #1.5 Closure + 다음 단계 결정 (2026-06-06 PM)

> 이 doc 으로 다음 세션 시작. cycle β #1 (persona 옵션화) + #1.5
> (rule_text v2 strict) 완전 마감 + depth diagnosis finding + v0.5
> 진입 게이트 평가 단계 진입.

## 한 줄 현황

Cycle β #1 + #1.5 두 fix 마감 (PR-B + PR-C land). 결과 = case C ⭐
operational only (cumulative +0.060 primary, noise band 안). depth
diagnosis 결과 **진짜 단축 source = advanced 스택 OFF + model
capability ceiling** (cycle 마감 doc §36 이미 측정). 다음 자연 단계
= **v0.5 진입 게이트 평가** (Path B 권고).

## 이번 cycle β #1+#1.5 결과 요약

### Cumulative measurement (e4b n=1, mixtral deferred)

| Cell | primary | graded | abst_f1 | 의미 |
|---|---|---|---|---|
| §36 baseline e4b (v1 + persona ON) | 0.310 | 0.400 | 0.520 | cycle β 진입 시 baseline |
| PM-19 e4b (#1 persona fix only) | 0.340 | 0.407 | 0.560 | +0.030 marginal |
| **PM-20 e4b (#1 + #1.5)** | **0.370** | 0.380 | **0.578** | **+0.060 cumulative** |

→ 모든 Δ noise band 안 (graded ±0.060, abst_f1 ±0.418). ⭐ operational
only.

### By question_type breakdown (rule_text v2 effect)

| type | PM-19 → PM-20 | analysis |
|---|---|---|
| comparison_query | 0.00 → 0.08 | 양식 강제로 일부 회복 |
| inference_query | 0.80 → 0.88 | 단답 양식 → entity match 명확 |
| null_query | 0.56 → 0.52 | noise |
| **temporal_query** | **0.00 → 0.00** | **rule_text 무관 — depth diagnosis target** |

### Depth diagnosis — temporal_query 0.00 root cause

temporal_query 의 진짜 problem = 모델의 yes/no 결정 능력 자체 약함.

| qid | Gold | PM-20 답 | 회피 양식 |
|---|---|---|---|
| 76 | Yes + Turmoil | `'ANSWER: insufficient information'` (32자) | 회피 |
| 77 | no + company | 2244자 long synthesis | yes/no 결정 회피 |
| 78 | no + urge | 2926자 long synthesis | 회피 |
| 79 | no + Jada | `'insufficient'` (32자) | 회피 |
| 80 | no + Anti-Hero | 1516자 synthesis | 회피 |

→ "Was X consistent with Y after date1 and Z after date2?" 류 multi-
clause temporal yes/no question = e4b 4B 추론 ceiling.

### 진짜 단축 source -0.22 의 정밀 분해

| Path | Magnitude | Mechanism |
|---|---|---|
| persona name (#1 Phase B fix) | +0.030 small | 양식 prefix 1줄 차단 ✅ |
| rule_text license (#1.5 v2 fix) | +0.030 cumulative | comparison/inference 양식 강제, yes/no 무관 |
| **advanced 스택 OFF** | **-0.10~-0.17 (§36 양 모델 측정)** | yes/no/comparison query 의 진짜 손실 |
| **model capability ceiling** | -0.05~-0.10 (추정) | e4b 4B yes/no/multi-clause 추론 약함 |

→ persona + rule_text = **27% 만 cover**. 73% = advanced 스택 OFF +
model capability ceiling. **진짜 단축 source = advanced 스택 OFF
자체**.

## Framing 정정 (#1+#1.5 후)

cycle β entry doc 의 framing 정정:

| Before | After (depth diagnosis) |
|---|---|
| "persona = 단축 손해 진짜 source PROMOTED #1 가장 큰 single fix" | partial true, +0.03 small (mechanism ✅) |
| "rule_text 강화 = 진짜 main source" (#1.5 entry framing) | partial true, +0.03 cumulative marginal |
| **진짜 단축 source -0.22** | **advanced 스택 OFF (-0.10~-0.17, §36 측정) + model capability** |
| **Mother-platform 진짜 가치** | **§36 양 모델 4-layer build-up = advanced 스택 +0.10-0.17 + 4B Default ≈ 47B Default** (이미 박힘) |

## Cycle β 의 진짜 발견 (publish-ready summary)

| 발견 | tier | 위치 |
|---|---|---|
| **§36 양 모델 4-layer build-up — mother-platform 가치 정량 입증** | ⭐⭐⭐ | cycle 마감 doc §36 (이미 박힘) |
| persona 옵션화 mechanism — small magnitude | ⭐ stable | cycle β #1 PR-B (#713) |
| rule_text v2 양식 강제 — comparison/inference 일부 회복 | ⭐ stable | cycle β #1.5 PR-C (이번) |
| temporal_query yes/no ceiling — depth diagnosis | finding | cycle β closure (이 doc) |
| 사용자 박은 #1.5 룰 — max_tokens cap 철회 (답변 품질 vs 강제 절단 분리) | ⭐ feedback rule | memory `feedback-engine-memory-persona-name-leak` |

## 사용자 박은 룰 (이번 cycle β 추가)

- **답변 품질 우선 vs 단축 강제 우선** (#1.5) — 단답 query 에 맞는
  답변 품질 ↑ 이 목적. 답변 방식 자체가 길이 자르는 강제는 risk 키움.
- **rule_text 강화 (자연 다이얼) vs max_tokens cap (강제 절단) 분리**
  (#1.5) — 같은 fix path 후보라도 mechanism 차원 분리 의무.
- **양식 forcing fix = marginal contribution evidence** (#1+#1.5
  closure) — 양식 layer fix 의 cumulative +0.06 = 단축 손해의 27%.
  양식 forcing 으로 큰 회복 기대 자체가 framing 오류.

## 다음 단계 결정 — 3 path 평가

### Path A: cycle β #2 (AnswerStyleClassifier hybrid) 진행
- 효과: 단답 query 자동 mount → #1+#1.5 4-layer 자동 발동
- risk: #1+#1.5 small + stable 이라 #2 marginal effect 도 small 가능성
- cost: 3-4h
- value: ⭐⭐ (UX 가치 + mother-platform philosophy 완성)

### Path B (권고): v0.5 진입 게이트 평가
- 효과: §36 mother-platform 가치 정량 입증을 v0.5 진입 evidence 로
  활용
- risk: D2 Reasoning Quality 게이트 — Default ✅, NATURAL oracle 미신설
  ⚠️
- cost: v0.5 design memo + domain selection 작업
- value: ⭐⭐⭐ (CLAUDE.md "mother-hardening + v0.5 domain pilot" 정확한
  다음 step)

### Path C: advanced 스택 4-comp ablation cycle
- 효과: planner / reflect / verify / graph 별 contribution 정량
- risk: §36 에서 이미 advanced 스택 +0.10-0.17 정량 — marginal new evidence
- cost: 4 cell × 양 모델 = 8 측정 (~6-8h CPU)
- value: ⭐ (이미 진단된 영역 재측정)

### Path D (NEW 2026-06-06 PM, 사용자 catch): Cycle γ — 외부 벤치 통합

- 효과: 4 외부 벤치 (RGB + ALCE + MuSiQue + 2WikiMultiHopQA) 통합 측정
  → publication-grade framework comparison evidence + JAMES system-
  layer 의 진짜 외부 검증
- 사용자 catch: 현재 로드맵 = MultiHop-RAG 단일 외부 벤치 위에서만
  측정 → publication-grade evidence 부족. PR #712 Track A 권고
  (RGB / ALCE / MuSiQue / 2WikiMultiHopQA) 가 cycle β scope 에 박혀
  있지 않은 gap
- 사용자 결정: cycle γ NEW (4 벤치 통합)
- cost: ~80h CPU (Phase A 인프라 + Phase B smoke + Phase C.1 RGB full
  + ALCE smoke + Phase C.2 MuSiQue + 2Wiki)
- value: ⭐⭐⭐ (publication-grade + v0.5 진입 D2 게이트 evidence +
  mid-June joint piece + JAMES-unique 강점 외부 검증)
- design memo: `docs/design/v0.4-cycle-gamma-external-benchmark-
  integration.md`

## 권고 진입 순서 (재정정 2026-06-06 PM, 미완 인프라 audit 후)

**사용자 catch (2026-06-06 PM 후반)**: "Cycle γ 진입 전에 JAMES 의
design-planned 인프라를 다 갖추고 평가받아야 정합"

미완 인프라 audit 결과 (audit 진행):
- T3 / T4 / T5 (Layer 4 Lifecycle) — v0.4.2+ deferred 박힘. T5 =
  cycle γ ABAC + replay 외부 evidence prerequisite
- Cycle β #3 (NATURAL-grade oracle) / #6 (Hidden defect audit) /
  #7 (path coverage runner) — cycle γ measurement 정합성 직접
  prerequisite

→ **Path 1 (재정정 sequence — 2026-06-06 PM, cycle β #3 skip catch)**:

```
1. cycle β #2 closure (AnswerStyleClassifier + v4) ✅ PR #715
2. cycle β #7 (path coverage runner — sources count → list) ✅ PR #716
   → §41 PM-22 smoke n=5 검증, via_sources 0 → positive 변환 정상
3. cycle β #6 (Hidden defect audit) ✅ PR #717
   → §42 audit list 5 candidates (multihop measurement 정합성 무관)
   → fix 는 별도 cycle (production UX evidence 후)
   ↓
~~4. cycle β #3 (NATURAL-grade oracle)~~ — **skip (사용자 catch)**
   → self-eval 함정: JAMES 가 자기 fixture + 자기 oracle 로 자기
     답 채점 = "엄마 100점" 패턴, publication / 학계 인정 X
   → 진짜 publication / D2 게이트 evidence path = 외부 표준 벤치
     (RGB / ALCE / MuSiQue / 2Wiki) = cycle γ 가 직접
   → cycle γ ALCE = NLI-based 표준 자동 채점, cycle β #3 self-oracle
     무관
   → 4-8h cost 절감 + sequence 단순화
   ↓
4. v0.4.2 entry — T5 (Replayable Audit Graph full) — ~1-2 day, ABAC
   + replay 외부 evidence prerequisite
   ↓
5. Cycle γ 진입 (4 외부 벤치 통합) — ~80h CPU + 작업 시간
   → 진짜 publication-grade evidence path
   ↓
6. v0.5 진입 게이트 평가 — cycle γ 외부 표준 evidence 위에서
```

근거:
1. cycle γ 가 publication-grade evidence 가 되려면 design-planned
   인프라 다 land 된 상태에서 측정 필수
2. 사용자 catch = "전체 인프라 다 갖춘 상태 → 진짜 evidence"
3. T5 = ABAC + replay 의 외부 검증 evidence 직접 prerequisite
4. #3/#6/#7 = cycle γ measurement 의 정확성 직접 prerequisite
5. cost = 1-2 주 (Path 1 sequence) vs Path 2 (cycle γ 바로 진입)
   의 incomplete picture risk 대비 정합

자세한 진입 조건 = `docs/design/v0.4-cycle-gamma-external-benchmark-
integration.md` §7

## 즉시 할 일 (다음 세션 첫 작업)

1. **이 doc + cycle β entry doc + 6 원칙 + 바닐라 정의 + Layer B 가치 의무 reading**
2. **v0.5 진입 게이트 평가 시작**:
   - D1 Auditability ✅
   - D2 Reasoning Quality 🟡 → cycle β #1+#1.5 후 평가 + NATURAL oracle 신설 필요?
   - D3 Cost Control ✅
   - D4 Security Boundary 🟡 → hidden defect audit (cycle β #6 후보)
   - D5 Operator UX 🟡 → cloud tier 보존
   - D6 Collaboration 🟡 → mid-June joint piece
3. **v0.5 domain selection — 기업 내부지식 ontology (cycle 마감 doc 후보)**
4. **mixtral 측정 통합 결정 (Path A 진입 시 또는 v0.5 진입 직전)**

## CLAUDE.md "Where to look next" 첫 행 갱신

이 doc 가 `🟢 NEXT SESSION ENTRY` 첫 행. cycle β #1+#1.5 closure +
depth diagnosis + 다음 단계 진입 명시.

## 의무 reading 묶음 (cycle β closure 이후)

1. **이 doc** (`v0.4-cycle-beta-closure-2026-06-06.md`) — cycle β
   closure entry
2. 이전 cycle β entry (`v0.4-cycle-beta-entry-2026-06-06.md`) — Phase
   A-E plan 의 원본 framing (정정 사항은 이 doc 의 framing 정정 표)
3. memory `feedback-engine-memory-persona-name-leak` — cycle β
   #1+#1.5 combined finding + depth diagnosis
4. memory `feedback-mother-platform-6-principles` — 6 원칙
5. memory `feedback-james-vanilla-definition` — 좁은/넓은 정의
6. memory `feedback-layer-b-framework-comparison-value` — Scenario
   B+ + Mother-platform 가치 4 차원
7. `reports/research-runs/alpha-8-paper-comparison-experiment-log-
   20260604.md` §36 (4-layer build-up 양 모델), §37 (persona Phase
   A-D), §38 (rule_text v2 Phase A-D + depth diagnosis)

## 사용자 박은 룰 (cycle β 전체 의무 reading)

- `feedback-finding-size-honest-framing` — 단일 axis over-claim 거부
- `feedback-n1-verdict-inflation-n3-caught` — n=3 paired 필요 caveat
- `feedback-fixture-fitness-before-verdict` — terse fixture 한정,
  NATURAL 별도 oracle
- `feedback-evidence-grounded-validity-check` — 답 sample inspection
- `feedback-methodological-chain-before-plan` — plan 전 verdict /
  diagnostic / role 5종 라벨링
- `feedback-mother-platform-6-principles` — Default vs Option 분리 +
  NATURAL 지장 없는 개선 + auto-selection 단답 자동 mount
- `feedback-layer-b-framework-comparison-value` — Layer B + Scenario
  B+ + Mother-platform 가치 4 차원
- `feedback-james-vanilla-definition` — 좁은/넓은 정의
- `feedback-engine-memory-persona-name-leak` (cycle β #1+#1.5 combined)
  — 양식 layer fix marginal evidence + 답변 품질 vs 강제 절단 분리
  + 진짜 단축 source = advanced 스택 OFF + model capability ceiling

→ 9 룰 묶음이 v0.5 진입 게이트 평가 의 의무 reading.
