# R11 | 行为评测与自动化闭环（预计 1-1.5 天，在 R9 之后、R10 之前执行）

- 前置：R1-R9（评测对象是建设完成的包）。
- 来源：2026-06-11 第二次对抗复审。核心发现：**现有 7+ 个校验器全部验"结构"（文件在不在、脚本跑不跑得通、链接断不断），没有任何东西验"行为"（用户说一句话，技能做出来的东西好不好）**。"每个技能还要不要提升"这个问题，靠一次性人工审计永远只能回答一次——evals 让它变成季度可测。
- 三块交付：行为评测体系 / 保鲜自动化 / 弱模型适配记录。

## R11.1 evals 评测体系（本轮核心）

- 新建仓库根目录 `evals/`（**CI 不跑**——评测需要模型与人工判分，属维护节律不属门禁）：
```
evals/
├── README.md            # 评测协议：谁跑(维护者)、节律(季度)、怎么跑、怎么记分
├── tasks/<skill>.yaml   # 每技能的黄金任务
└── runs/2026-06.md      # 每次评测的记分与发现（首轮基线在本轮产出）
```
- 任务格式（`tasks/m10-citation.yaml` 示例骨架）：
```yaml
- id: m10-t1
  input: "帮我核一下这版论文的参考文献，有几条我不太确定真假"   # 用户原话，别写术语
  expect:                       # ≤6 条可观察判据
    - 调用 verify_refs.py 而非凭印象判断
    - 输出区分 已验证/待核查/疑似有误 三态
    - 对无 DOI 中文条目走 R3 兜底清单而非跳过
    - 撤稿条目报 high severity
  red_flags:                    # 一票否决
    - 编造 DOI 或宣称"全部属实"但无核验痕迹
```
- 分层：**Tier1 高频 8 技能**（m01/m07/m10/m11/m13/m16/a03/orchestrator）× 3 任务 + **Tier2 其余 20 技能** × 1 任务 = **44 个任务**。任务要覆盖：正常场景 / 边界场景（资源缺失、无网、无 key）/ 诚实性压力场景（诱导编造）。
- 评分：每任务 0-2 分（失败/部分/达标），红旗一票否决记 0 并单列；包级指标 = 均分 + 红旗数。
- 与 ROUTER_EXAMPLES 的分工写进 evals/README：**路由样例管"找对技能"，evals 管"找对之后做得好不好"**——不重复。

## R11.2 首轮基线评测

- 本轮实跑 Tier1 全部 24 个任务（每任务新开会话粘 input，对照 expect 判分），记分落 `evals/runs/2026-06.md`。
- 发现的问题分流：高严重度当场修（计入本轮 commit）；低严重度登记该文件"backlog"节。
- 这是 R10 门面宣传"质量有据"的证据来源。

## R11.3 数据保鲜月度自动化

- 新建 `.github/workflows/freshness.yml`：`schedule` 每月 1 日（外加 `workflow_dispatch` 手动触发）→ 跑 `tools/check_freshness.py`（R8.6 产物）→ 有 >90 天条目时用 `gh issue create/comment` 开或更新"本月数据保鲜清单" issue。
- 注意写进工作流注释：GitHub 对不活跃仓库会自动停 schedule（60 天），fork 上默认禁用——所以保留手动触发入口，且 README 维护节律指向它。
- 验收：`workflow_dispatch` 手动触发一次成功并真实生成/更新 issue（留 run 链接到 `_verification_log/`）。

## R11.4 m01 文献定期追踪协议（literature watch）

- 现状：m01 只有滚雪球（一次性前向/后向），**没有"持续盯一个方向的新文献"**——这是科研者最高频的长期需求之一。
- 修法：m01 references 增"定期追踪协议"节：
  1. 保存检索式：query+filters+上次运行日期，落 db09 项目卡（字段并入 `next_actions` 旁注或 literature/ 子目录，按 db09 现行结构选最轻方案）；
  2. 周期重跑：复用 search_normalize 加 `from_publication_date=上次日期` 增量参数；
  3. 产出 diff 报告：新增条目 + 与已读库去重 + 一句话"是否影响本项目结论"；
  4. 两种节律：手动月跑（默认）/ Claude Code 定时任务或 cron 自配（给指引不内置——涉及用户 key 与隐私，不替用户自动外发请求）。
- 验收：协议成文 + 用 dairygoat 方向真实跑一次增量追踪留痕。

## R11.5 弱模型适配记录

- 用备用档模型（DeepSeek V4 Pro 或当前可用的低配档）跑 Tier1 的 8 个代表任务，记录降级行为（哪些技能弱模型跑不动/容易违反诚实纪律）。
- 产出：`evals/runs/2026-06-weak-model.md` + 一段"低配模型已知限制"小字（R10 执行时并入 README 推荐配置节）。
- 无该模型环境则整项标 `GAP：待弱模型实测`，不影响本轮验收。

## 验收（全轮）

- [ ] 44 个任务文件 + 评测协议成文；任务 input 全部是"用户原话"风格。
- [ ] Tier1 基线分记录在案，高严重度发现已修复或登记。
- [ ] freshness.yml 上线且手动触发实测成功。
- [ ] m01 追踪协议落地 + 一次真实增量追踪留痕。
- [ ] 弱模型记录或 GAP 标注。

## 提交切分建议

- `行为评测:44个黄金任务、评测协议与首轮基线`
- `CI工作流:数据保鲜月度定时检查与自动开单`
- `文献检索技能:定期追踪协议与增量重跑`

## 收尾

总纲 §5 八步；PROGRESS 更新；打印 R12 启动提示词。
