<!--
标注规范模板（自建数据集 / 派生评测集通用）。
用途：在大规模标注开工前把"类目怎么定、边界怎么判、质检抽多少、一致性怎么算"写死，
让多名标注者（含 LLM 辅助标注）产出可复现、可核验、IAA 达标的标注。
配套：一致性指标计算复用 code_assets/agreement.py（Cohen's κ / 加权 κ / Fleiss' κ / ICC(2,1)）；
标签错误检测见 references「cleanlab」节。
-->

# 标注规范：{{数据集/任务名称}}

- 版本：{{v1.0}}　|　制定日期：{{YYYY-MM-DD}}　|　负责人：{{}}
- 任务类型：{{分类 / 检测 / 分割 / 序列标注 / 关系抽取 / 评分(有序) / ...}}
- 标注工具：{{Label Studio / CVAT / doccano / prodigy / 自建}}

## 1. 类目定义（每一类都要可判定，不留"凭感觉"）

| 类目 | 定义（是什么） | 正例特征 | 反例 / 易混类 | 示例 |
|------|----------------|----------|----------------|------|
| {{类A}} | {{一句话可操作定义}} | {{}} | {{与类B的区别}} | {{典型样例}} |
| {{类B}} | {{}} | {{}} | {{}} | {{}} |

- 标签集是否互斥？{{互斥单标 / 多标 multi-label}}
- 是否允许"无法判定/其他"类？{{允许，进 `uncertain` 桶供复核 / 不允许}}

## 2. 边界案例与判定规则（标注分歧的主要来源，必须穷举常见歧义）

| 边界情形 | 判定规则 | 归到哪类 |
|----------|----------|----------|
| {{目标被遮挡>50%}} | {{可见部分能确认类别则标，否则标 ignore}} | {{}} |
| {{一图多目标 / 一句多实体}} | {{逐个标，重叠框规则…}} | {{}} |
| {{模糊/低质量样本}} | {{低于质量阈值标 discard}} | {{}} |
| {{有序评分的相邻档}} | {{给锚点描述，0/1/2/3 各档可见标准}} | {{}} |

> 边界规则随标注推进会发现新情形：新增规则要版本化（v1.1…），并回头抽查已标数据是否受影响。

## 3. LLM 辅助标注 + 人工审核流程（2026 自建数据集主流做法）

1. **预标注**：用 LLM/已有模型对全量做初标，产出 `pred_label` + `confidence`。
2. **分流**：高置信样本进**抽检**（按下方质检率抽样人工核），低置信 / 模型间分歧样本进**全量人工标**。
3. **人工裁定**：标注者按本规范修正预标，分歧样本由资深标注者/专家仲裁。
4. **留痕**：每条记录保留 `pred_label / human_label / annotator_id / 是否被修正 / 仲裁记录`，供后续审计与 cleanlab 复查。
5. **红线**：LLM 预标注**不可直接当真值**——它会系统性放大模型偏差；必须有人工审核闭环；用于训练同源模型时尤其警惕"自证偏差"。

## 4. 质检抽样与一致性（IAA）

- **质检抽样率**：每批至少抽 {{10%}} 复核（关键/高风险类目提到 {{20%}}）；新标注者前 {{N}} 条 100% 复核直到稳定。
- **双标/多标重叠**：随机抽 {{10~20%}} 样本由 ≥2 名标注者独立标注，用于算 IAA。
- **一致性指标（用 `code_assets/agreement.py`，勿重写）**：
  - 名义类目、2 名标注者 → **Cohen's κ**（`cohen_kappa`）。
  - 有序评分（如严重度 0–3）→ **加权 κ / 二次加权 κ**（`quadratic_weighted_kappa`，惩罚差得越远）。
  - ≥3 名标注者 → **Fleiss' κ**（`fleiss_kappa`）。
  - 连续值标注 → **ICC(2,1)**（`icc21`）。
- **达标门槛**：κ ≥ {{0.8 优秀 / 0.6~0.8 可接受需复核分歧 / <0.6 不达标}}——不达标要回到第 2 节补边界规则、重培训标注者，再重标。
- **分歧处置**：低一致性的类目对/样本批，回查类目定义与边界规则是否含糊，迭代规范版本。

## 5. 标签错误检测（标注完成后）

- 用 **cleanlab** 置信学习扫一遍：交叉验证预测概率 → `find_label_issues` 出按可疑度排序的样本清单（用法见 references「cleanlab」节）。
- 人工复核 top-K 可疑样本，**找出候选 → 人工裁定**，不全自动删；删样本要记录并评估对类别分布的影响。
- IAA（流程整体可靠度）与 cleanlab（具体可疑样本定位）互补，两者都做。

## 6. 交付与溯源

- 标注格式：{{COCO / YOLO / CoNLL / JSONL …}}，schema 见 {{}}。
- 随数据集产出 `data_card.md`（字段对齐 db04），在其"标注质量"区写实：标注者数、质检率、各类目 IAA 值（含用了哪种 κ）、cleanlab 复查结论、已知遗留分歧。
- 规范本体随数据集一并发布/归档，保证标注可复现、可审计。

---
一致性指标实现见 `code_assets/agreement.py`（已对齐 sklearn）；标签错误检测见 light-data-engineering `references.md`「cleanlab」节；隐私/许可合规交 a10。
