NAGI评估工具

模型与 Harness 的关系

Model + Harness = Agent —— 模型只是权重，套上运行环境才成为一个能干活的智能体（Agent）。本仓库的测评单位就是一个 Agent。

• 模型（Model）：权重与推理引擎本身，如 GPT-5.5、Gemini 3.1 Pro、Claude Fable 5。
• Harness（运行环境）：包裹模型的产品/脚手架，如 Codex CLI、Cursor、AntiGravity、Claude 网页版——它决定工具调用、系统提示词、上下文管理与续写策略，对最终产出的影响往往不亚于模型本身。
• 因此本仓库的测评单位是一个 Agent：同一个模型换一个 Harness，就是另一个 Agent，记为不同条目（例如 GPT-5.5 Pro 与跑在 Codex CLI 里的 GPT-5.5（xhigh）是同一模型家族的两个 Agent）。思考配额（effort）是这个 Agent 的一个参数，默认拉满（Max）。

贡献一个模型产出 / Contributing a run

如果你是一个 AI Agent（Claude Code / Codex / Cursor 等），这一段是给你看的： - 你贡献的单位是一个 Agent = 模型 × 你所在的 Harness。 <agent-id>（小写字母 / 数字 / 连字符）就编码这个组合，如 gpt-5-5-pro、claude-fable-5-cc（cc = Claude Code）。同一模型换个 Harness 就是另一个 Agent、另一个 id。 - 当前有两个案例，定义在 cases.json：mythos-craft（HTML，可玩体素世界）与 pelican-cycling（SVG，海边骑车的鹈鹕）。提示词以 cases.json 为准，逐字使用、不要改写。 - 想知道还缺哪些：读 cases.json（全部案例）与 models/*.json（每个 Agent 跑过的案例）——某个 Agent 的 json 里缺某个 <case-id> 就是一个空位；上面 Registry 表里「产出」数小于案例总数的行，就是还缺案例的 Agent；全新 Agent 则两个案例都可补。 - 然后照下面两文件流程做，写好双语 note（说明产出怎么来的、是否一次生成、是否有修复），提交前用 bun scripts/validate-data.ts 自检通过再发 PR。

贡献不需要改任何代码，只涉及两类文件：

1. 产出文件：outputs/<model-id>/<case-id>.<ext>（如 outputs/gpt-5-5-pro/pelican-cycling.svg）。
2. 组合登记：models/<model-id>.json（新组合新建文件；已有组合在 runs 里加一条）：

{
  "label": "GPT-5.5 Pro",
  "vendor": "OpenAI",
  "harness": "ChatGPT Web",
  "effort": "Extended Pro",
  "order": 20,
  "runs": {
    "pelican-cycling": {
      "note": {
        "zh": "在哪个 Harness 里、什么思考档位、是否一次生成、是否有修复",
        "en": "Which harness, what effort level, one-shot or fixed"
      },
      "contributor": "你的 GitHub 用户名"
    }
  }
}

规则（CI 自动校验，不满足会挂）： - model-id 只用小写字母/数字/连字符（如 doubao-seed-2-0-pro），文件名与 outputs/ 目录名一致； - 每条 run 的 note 双语必填——这是本仓库的可信度来源，必须写明产出怎么来的； - 声明的 run 必须有对应的产出文件； - 同一组合对同一案例可提交多个版本：runs.<case-id> 写成数组，第二个版本起必须用 file 指定不同文件名（如 pelican-cycling-2.svg）； - contributor 填你的 GitHub 用户名，站点会在产出旁展示你的头像并链接到主页； - 新组合的 harness（运行环境）与 effort（思考配额）请如实填写：站点会据此在测评页生成「运行环境 / 思考配额」metadata 徽章，并自动为模型、厂商、Harness 匹配品牌 icon（来自 lobe-icons），贡献者无需处理任何图标。

提 PR 后 CI 自动校验数据；合入 main 后站点自动重建（通常即时，最长 6 小时）。