# v0.5 Pilot Scope Specification (2026-06-11)

> **Purpose**: v0.5 first-domain pilot 의 scope / goal / metric / spec
> 정의. Dim F (Production proof) gate 충족 조건 = 본 doc 의 success
> criteria 모두 6 개월 안에 측정-evidenced.
>
> **Scope discipline**: 본 doc 은 *generic pilot spec* (도메인 무관).
> 도메인-specific 작업 (legal pack 등) 은 LOI 받은 후 별도 cycle.
>
> **Predecessors**: `v0.5-domain-candidate-evaluation-2026-06-11.md`
> (도메인 ranked list) — Primary = Legal contract review (86%).

---

## 1. Pilot 목표 (Dim F production proof gate 정합)

`docs/PLATFORM_READINESS.md` Gate v0.4 의 F 차원 통과 기준:

```
F: One external customer runs the pilot for ≥ 6 months
F: Zero core regressions caused by the pack during the pilot
```

이를 정량 spec 으로 매핑:

| Pilot 목표 | 측정 기준 | Pass threshold |
|---|---|---|
| **F.1** Customer pilot ≥ 6 개월 | 계약 시작-종료 일자 | ≥ 180 days uninterrupted |
| **F.2** Core regression 0 | core/ 모듈 PR 머지 후 RAB AC/RF/PC 측정 | regression Δ ≤ −0.01 in any cycle |
| **F.3** User-base 의미있음 | active users / 부서 size | ≥ 50 weekly active users in pilot dept |
| **F.4** Audit completeness | RAB AC (production traffic 대상) | ≥ 0.99 |
| **F.5** Temporal retrieval accuracy | LRB-style time-travel R@1 (production samples) | ≥ 0.65 (baseline) |
| **F.6** No prod incident causing data loss | incident log | 0 P1, ≤ 2 P2 |
| **F.7** Customer NPS / 재계약 의향 | exit survey | NPS ≥ 30 OR 재계약 의향 ≥ 70% |

**Pilot pass = F.1-F.6 모두 충족 + F.7 ≥ 1개 충족**.

본 pilot 의 목적은 *제품 검증* + *Dim F gate clearance*. 매출
규모는 secondary.

## 2. 기술 scope (LOCK)

### 2.1 통합 architecture (변경 0)

```
Customer infra
   ├─ JAMES instance (workspace-isolated)
   │    ├─ core/ (변경 0 — mother platform contract 유지)
   │    ├─ audit_log + audit_bridge (RAB evidence 생성)
   │    └─ validity-window retrieval (LRB evidence 생성)
   ├─ Data ingest (도메인-specific connector — LOI 후 별도 cycle)
   └─ UI (web — 기존 server_llmwiki + 도메인-specific extension)
```

**핵심 제약**:
- **core/ 코드 변경 0** (CLAUDE.md rule #1 "도메인 features 금지" 정합)
- 도메인-specific 코드 = `packs/<domain>/` (v0.3 plugin API 가 v0.5
  pilot 의 dogfood — pilot evidence 가 v0.3 packs/general/ 로 환원)
- workspace 격리 = `JAMES_WORKSPACE` env var 로 customer 데이터 완전 분리
- audit log 격리 = audit_bridge 가 customer-side 저장

### 2.2 기능 scope (LOCK)

| 카테고리 | Included | Excluded |
|---|---|---|
| Retrieval | validity-window 시간 인지 + token-overlap + (option) LLM rerank | full GraphRAG / ActiveGraph |
| Audit | RAB SPEC v0.1.1 적합 + replayable log + reconstruct_graph_at(t) | NIST AI RMF full 정합 |
| UI | server_llmwiki extend + 도메인 panel | 자체 브랜드 / 마케팅 |
| Auth | JWT / SSO (customer IdP) | SAML / LDAP full (Dim D v1.0) |
| Observability | OpenTelemetry exporter | full Prometheus (Dim D v1.0) |
| Backup/restore | CLI + snapshot | live multi-region (Dim D v1.0) |
| Multi-tenancy | single-customer instance | full SaaS multi-tenant (Dim D v1.0) |

### 2.3 Out of scope (Pilot)

- v1.0 vertical product features
- 마케팅 / 영업 자료 통합
- 외부 marketplace
- Public plugin distribution
- 다른 도메인 동시 pilot (CLAUDE.md rule = 1 도메인만)

## 3. Pilot timeline (6 개월 baseline)

```
Week 1-2   : Kickoff
  - NDA / DPA / 보안 검토 (customer 측)
  - Workspace 격리 spec 합의
  - 초기 corpus 정의 (사이즈 / 카테고리 / 민감 등급)
  - Success metric 합의 (§1 의 7 항목 + 도메인-specific 항목)

Week 3-6   : Setup & ingest
  - JAMES instance 배포 (customer infra OR JAMES-hosted dedicated)
  - 초기 corpus ingest + audit log baseline
  - 사용자 onboarding (10-20 pilot user, friendly first)
  - Baseline 측정 (RAB AC / LRB R@1 / latency)

Week 7-12  : Expansion
  - User base 확장 (50+ active)
  - 일상 사용 + 피드백 수집
  - Weekly retro + small adjustments

Week 13-20 : Stabilization
  - 정상 운영 phase
  - 월간 RAB / LRB measurement
  - Core regression watch

Week 21-24 : Closure + measurement
  - F.1-F.7 측정 finalize
  - Customer exit interview
  - 결과 handover + 재계약 협상 (or end)
```

## 4. Success metric 측정 방법 (deterministic-first)

### 4.1 RAB AC (audit completeness) — F.4

**측정**:
- 매월 1회 production audit log dump
- 각 day 의 핵심 op (INGEST/UPDATE/SUPERSEDE/DELETE/ANSWER) ground-truth
  driver 와 매칭
- RAB SPEC v0.1.1 scorer 그대로 적용

**Pass threshold**: 0.99 (RAB Phase 3 의 JAMES 1.000 보다 보수적
threshold; production noise 허용)

**계측 인프라 reuse**: `eval/rab/driver.py` + `eval/rab/scorer.py` +
`eval/rab/adapters/james.py` (production audit log 형식이 SPEC §1 과
매칭 의무 — pilot kickoff 시 합의)

### 4.2 LRB temporal retrieval R@1 — F.5

**측정**:
- 매월 1회 production query log 에서 historical 쿼리 추출 ("X 시점의 Y는?"
  형 + 시간 표현 포함)
- 도메인 expert (customer 측 변호사 / 컴플 담당 / 기록사) 가 gold valid_time +
  gold doc 라벨링 (월 30 쿼리)
- LRB Phase B scorer 적용

**Pass threshold**: 0.65 (LRB Phase B S2 의 JAMES 0.713 보다 보수적;
production query distribution 이 fixture 보다 hard 할 수 있음)

### 4.3 Core regression 측정 — F.2

**측정**:
- Pilot 기간 동안 main 에 머지된 모든 core/ PR 에 대해 RAB Phase 3
  S2 측정 자동 실행 (CI)
- AC/RF/PC 각각 baseline 대비 Δ 계산
- Δ ≤ -0.01 in any axis = regression

**Pass threshold**: Δ ≤ −0.01 발생 PR 0개. 발생 시 → 같은 cycle 안에
revert OR fix.

### 4.4 User-base / NPS — F.3, F.7

**측정**:
- Weekly active users = audit_log 의 사용자 별 ANSWER 호출 횟수 ≥ 5 회/주
- NPS = 6 개월 exit survey (한국 기준 0-10 scale, 9-10 promoter, 0-6
  detractor; NPS = % promoter − % detractor)

### 4.5 Incident tracking — F.6

**측정**:
- Severity 정의: P1 = 서비스 중단 또는 데이터 손실; P2 = 기능 제한 또는
  성능 저하; P3 = minor
- Incident log = customer + JAMES 양쪽 보유

**Pass threshold**: P1 = 0, P2 ≤ 2.

## 5. Risk + mitigation matrix

| Risk | Likelihood | Impact | Mitigation |
|---|---|---|---|
| **R.1** Customer 데이터 leak (외부) | low | catastrophic | Workspace 격리 + audit_bridge 격리 + DPA 사전 합의 + 정기 보안 audit |
| **R.2** Customer core/ 수정 요청 | high | high | CLAUDE.md rule #1 enforced — packs/<domain>/ 로 분리. 거부 가능. |
| **R.3** Pilot 기간 중 core/ 머지로 regression | medium | high | F.2 CI 자동 측정 + revert 절차 사전 합의 |
| **R.4** 6 개월 내 pilot 중단 (customer 측 사유) | medium | catastrophic | Pilot 시작 시 6 개월 commit clause + monthly checkpoint |
| **R.5** 측정 baseline 측정 불가 (corpus 불완전 / 동의 부족) | medium | high | Kickoff 시 corpus 사이즈 / 동의 명시 + 측정 가능 minimum 보장 |
| **R.6** RAB / LRB metric 이 도메인 reality 와 mismatch | medium | medium | Pilot kickoff 시 도메인-specific 보완 metric (도메인 expert 가 정의) |
| **R.7** Customer staff turnover → pilot momentum 상실 | low | medium | Pilot sponsor + 백업 sponsor 양측 commit |
| **R.8** 가격 협상 결렬 | medium | high | Pilot 가격 = 진입 friction 최소화 (cost-recovery 기반); 정식 v1.0 후 가격 협상 |
| **R.9** LRB / RAB 의 외부 발표가 customer 데이터 노출 | low | high | Customer 데이터 = pilot evidence 의 anonymized aggregate 만 외부 발표; 사전 합의 |
| **R.10** Pilot 결과 negative → 모체 platform credibility 손상 | low | medium | Honest framing rule (cycle γ 패턴) — negative 결과도 publish, "what we learned" framing |

## 6. Customer responsibility vs JAMES responsibility

### 6.1 Customer 측

- Pilot sponsor 임원 + 부서장 + 운영 PIC 3-tier 책임자 지정
- 초기 corpus 제공 + 분류 + ingest 권한
- 사용자 onboarding 협조 (50+ active)
- Monthly retro 참여
- 도메인 expert 의 monthly gold labeling (LRB R@1 측정 용)
- 보안 / compliance 검토 (DPA / NDA / IRB if applicable)

### 6.2 JAMES 측 (operator)

- Workspace 격리 instance 배포 + 운영
- Monthly RAB / LRB measurement + report
- Weekly office hour + incident response
- 도메인-specific UI extension (packs/<domain>/) 개발
- Pilot 종료 후 handover doc + 데이터 export (customer 보유)

### 6.3 공동 책임

- Success metric 합의 + 측정 protocol lock (kickoff week)
- Monthly checkpoint
- Risk register 공동 관리

## 7. Pricing model (cost-recovery baseline)

Pilot 의 목표는 *제품 검증* (Dim F gate). Pricing 은 friction 최소화 우선.

**옵션**:
- **A. Free pilot** (6 개월 무료, 결과 공동 발표권) — 외부 인정 가속 +
  publication evidence 강함
- **B. Cost-recovery** (인프라 + operator 시간 실비) — JAMES 측 부담 최소
- **C. Discounted commercial** (정상 가격의 30-50%) — customer commit 강함

권고: **B (cost-recovery) + 옵션 A 의 발표권 별도 협상**. Pilot 종료
시 정식 가격 = v1.0 진입 후 별도 협상.

**예상 cost-recovery 견적**:
- 인프라 (cloud or on-prem hosting): 월 50-200 만원
- Operator 시간 (월 40-60 시간): 월 400-600 만원
- 총: 월 450-800 만원 × 6 = **2,700-4,800 만원** (pilot 전체)

## 8. Pilot 시작 prerequisite

진입 전 확인:

- [ ] LOI 서명 (customer 측, 6 개월 commit + 가격 모델 합의)
- [ ] NDA + DPA 양방 서명
- [ ] Pilot sponsor 3-tier 지정
- [ ] 초기 corpus 정의 + 동의 (사이즈 / 카테고리 / 민감등급)
- [ ] Success metric 합의 + 측정 protocol lock (이 doc §4 + 도메인-specific 보완)
- [ ] Workspace 격리 spec 합의 (배포 위치 / 데이터 흐름 / 백업)
- [ ] 보안 검토 통과 (customer 측 정책 정합)
- [ ] Pilot 가격 모델 confirm
- [ ] (도메인-specific) IRB / 법적 검토 통과 (Healthcare / Legal 등)

진입 후 첫 30일 내:
- [ ] JAMES instance 배포 완료
- [ ] 초기 corpus ingest 완료
- [ ] 10-20 명 friendly user onboarding
- [ ] Baseline RAB / LRB 측정 완료
- [ ] Monthly checkpoint 첫 회의

## 9. Pilot 종료 후 path

| Outcome | 다음 step |
|---|---|
| **Pass (F.1-F.7 충족)** | (a) 재계약 협상 + v0.5 → v1.0 진행 (b) Pilot evidence + customer attestation 외부 발표 |
| **Partial pass (5-6 of 7)** | 부족 차원 root-cause + v0.5.x 추가 cycle 후 재측정 |
| **Fail (< 5 of 7)** | Honest framing handover + measurement-driven discovery 재정렬. v0.5 first-domain 후보 재선정. |

## 10. 관련

- `docs/PLATFORM_READINESS.md` (6-dim framework, Gate v0.4)
- `docs/strategy/v0.5-domain-candidate-evaluation-2026-06-11.md` (도메인 ranked)
- `docs/ARCHITECTURE.md` §5.7 (trust zones / abstraction)
- `eval/rab/SPEC-v0.1.md` (RAB SPEC — F.4 측정 기준)
- `docs/handovers/v0.4-lrb-phase-b-cross-scenario-2026-06-11.md` (LRB — F.5 측정 baseline)
- memory `project_r1_replayable_audit_benchmark` (RAB evidence)
- memory `project_lrb_phase_a_smoke` (LRB evidence)

---

*본 doc 은 generic pilot spec. 도메인-specific 작업 = LOI 받은 후
별도 cycle. v0.5.2 (pre-LOI customer-facing material) 가 본 doc 을
customer-facing summary 로 변환.*
