智能提示评估
AI Skill Hub 推荐使用：智能提示评估 是一款优质的Prompt模板。AI 综合评分 7.5 分，在同类工具中表现稳健。如果你正在寻找可靠的Prompt模板解决方案，这是一个值得深入了解的选择。
📚 深度解析
优质 Prompt 模板的核心价值在于其结构化设计：明确的角色设定、精确的任务描述、具体的输出格式要求和必要的边界条件，这些要素共同构成了一个能够持续产出高质量结果的 Prompt 框架。智能提示评估 提供的模板经过反复迭代和用户验证，能够有效减少 AI 的"幻觉"（Hallucination）和输出不稳定问题。
无论你使用 Claude 3.5 Sonnet、GPT-4、Gemini 还是国内的文心一言、智谱 AI，优质的 Prompt 设计都能跨模型复用。AI Skill Hub 建议将本模板保存为个人 Prompt 库的标准组件，根据具体场景调整参数后反复使用，形成自己的 AI 提效工作流。
📋 工具概览
评估LLM知识输入的框架，提供prompt模板和benchmark
智能提示评估 是经过精心设计和反复验证的专业 Prompt 模板集合。这些 Prompt 框架能够有效激活 Claude、ChatGPT 等大型语言模型的深层能力，让 AI 生成更准确、更有价值的输出结果。无需任何安装，直接复制模板内容到 AI 对话框即可使用。
📖 中文文档
评估LLM知识输入的框架，提供prompt模板和benchmark
智能提示评估 是经过精心设计和反复验证的专业 Prompt 模板集合。这些 Prompt 框架能够有效激活 Claude、ChatGPT 等大型语言模型的深层能力，让 AI 生成更准确、更有价值的输出结果。无需任何安装，直接复制模板内容到 AI 对话框即可使用。
- 精心设计的 Prompt 框架，快速激活 AI 的深层能力
- 支持参数化替换，灵活适配多种业务场景
- 经过反复验证的指令结构，显著提升 AI 输出质量和一致性
- 适用于 Claude、ChatGPT 等主流大语言模型
- 可作为团队标准 Prompt 模板复用和二次开发
- 快速生成高质量的专业文案、分析报告或结构化内容
- 利用 Prompt 框架引导 AI 解决特定领域的复杂问题
- 在不同 AI 工具间复用经过验证的提示词模板
# Prompt 无需安装，直接复制使用 # 支持：Claude / ChatGPT / Gemini / 通义千问 等主流模型 # 使用步骤 # 1. 复制 Prompt 模板内容 # 2. 粘贴到 AI 对话框 # 3. 替换 [占位符] 为实际内容 # 4. 发送后获取结构化输出 # 获取原始文件 git clone https://github.com/lizhiyao/oh-my-knowledge
- 复制本工具的 Prompt 模板内容
- 打开 Claude、ChatGPT 或其他 AI 对话工具
- 将 Prompt 粘贴到对话框开头
- 根据实际需求替换 [占位符] 中的内容
- 发送后 AI 将按照模板格式执行，获得结构化输出
# 粘贴到 Claude/ChatGPT 使用 # 示例 Prompt 结构： 你是一位 [角色]，擅长 [领域]。 请根据以下要求完成任务： 任务背景：[描述背景] 具体要求：[详细说明] 输出格式：[期望格式] # 将 [] 内内容替换为实际需求
# oh-my-knowledge 配置说明 # 查看配置选项 oh-my-knowledge --config-example > config.yml # 常见配置项 # output_dir: ./output # log_level: info # workers: 4 # 环境变量（覆盖配置文件） export OH_MY_KNOWLEDGE_CONFIG="/path/to/config.yml"
oh-my-knowledge
English | 简体中文
Did your prompt actually get better? A/B test your prompts and skills with statistical rigor — bootstrap CI and length-debias on by default, Krippendorff α the moment you add a gold set.
Features
| Feature | What it does |
|---|---|
| **One-line verdict** | omk eval six-tier verdict + ship recommendation + exit-code routing; HTML pill shares the same rules |
| **Six-dim evaluation** | Fact / Behavior / LLM-judge / Cost / Efficiency / Stability shown independently |
| **Multi-executor** | Claude CLI / Claude SDK / Codex CLI / Codex SDK / OpenAI / Gemini / Anthropic API / any custom command |
| **30+ assertion types** | substring, regex, JSON Schema, ROUGE/BLEU/Levenshtein similarity, agent tool-call assertions, semantic similarity, custom JS |
| **Statistical rigor** | Bootstrap CI / length-debias / saturation curve on by default; Krippendorff α auto-computed with a gold set. [Details →](docs/explanation/statistical-rigor.md) |
| **RAG metrics** | faithfulness / answer_relevancy / context_recall — anti-hallucination + answer relevance + context coverage |
| **LLM health audit** | omk doctor grades 7 builtin dimensions; --static-only runs offline without an LLM |
| **Production observability** | parse Claude Code session JSONL traces; measure per-skill failure rate / latency / cost / knowledge-gap signals |
| **Knowledge-gap detection** | severity-weighted signals quantify risk exposure instead of claiming completeness |
| **Construct-validity isolation** | --strict-baseline (default ON) cuts three contamination channels so baseline doesn't silently see the skill it's being compared against |
| **Sample design science** | sample schema with capability / difficulty / construct / provenance metadata (HF Dataset Cards style); studio surfaces coverage breakdown plus rubric_clarity_low / capability_thin flags. [docs/specs/sample-design-spec.md](docs/specs/sample-design-spec.md) |
| **Multi-judge ensemble** | --judge-models claude:opus,openai:gpt-4o cross-vendor scoring + agreement metrics |
| **Blind A/B** | --blind hides variant names; HTML report has a reveal button |
| **Multi-run variance** | --repeat N repeats the eval and computes mean / SD / CI / t-test |
| **MCP URL fetching** | pull content from private-doc URLs via an MCP server (SSO-protected knowledge bases, etc.) |
| **Auto analysis** | detects low-discrimination assertions, flat scores, all-pass / all-fail, expensive samples |
| **Traceability** | reports carry CLI version, Node version, artifact version fingerprint, judge prompt hash |
| **EN / ZH switch** | one-click language toggle in the HTML report |
Requirements
- Node.js >= 22
claudeCLI (for the default executor and LLM judge; see Claude Code)- not needed if you use other executors (openai-api / anthropic-api / gemini) with
--no-judge
Quick start
npm i -g oh-my-knowledge
omk init demo && cd demo
omk eval --control code-review-v1 --treatment code-review-v2That's it — no editing required. omk init scaffolds two skill variants and three sample cases; omk eval runs the controlled A/B and opens an HTML report with a one-line verdict in about five minutes.
Walkthrough: 5-minute quickstart guide (recommended for first-time users).
Deeper: CLI reference · how it works · eval sample format · executors & artifact layout
Environment variables
| Variable | Description |
|---|---|
CCV_PROXY_URL | proxy requests through cc-viewer for live eval-traffic visualization |
OMK_REPORT_PORT | report server port (default: 7799) |
Why omk over alternatives
| omk | promptfoo | DeepEval | LangSmith | |
|---|---|---|---|---|
| Bootstrap CI | ✓ default | ✗ | ✗ | ✗ |
| Krippendorff α (judge ↔ human) | ✓ with gold set | ✗ | ✗ | ✗ |
| Length-debias judge prompt | ✓ default | ✗ | ✗ | ✗ |
| Saturation curve | ✓ | ✗ | ✗ | ✗ |
| Three-layer scoring isolation | ✓ | ✗ | partial | ✗ |
| Per-variant skill isolation (construct validity) | ✓ default | ✗ | ✗ | ✗ |
| Native Claude Code skill | ✓ | ✗ | ✗ | ✗ |
| Hosted SaaS dashboard | ✗ | ✗ | ✓ | ✓ |
omk's moat is default-on safety net — Bootstrap CI and length-debias aren't advanced flags; they're the default, and judge ↔ human α comes free the moment you add a gold set. Other tools let you opt into confidence intervals; omk makes them unavoidable. Need a hosted SaaS dashboard? Choose LangSmith. Want quick local prompt iteration without statistics? Choose promptfoo. Shipping to production and someone will ask "why should I trust this number?" Choose omk.
RAG-specific evals: see RAGAS (separate niche, complementary to omk). Full comparison with 7 tools across 25+ dimensions: docs/reference/comparison.md.
一个评估LLM知识输入的有用框架
- 需要让 Claude / Cursor 操作本地工具的 AI 工程师
- 构建多智能体协作系统的 Agent 开发者
- 构建企业知识库 / RAG 检索应用的团队
- 想快速复用高质量提示词模板的 AI 用户
- 配置 MCP 服务器时建议使用 stdio 传输 + JSON-RPC，避免暴露公网
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- 分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- MCP 配置路径拼错或权限不足，重启 Claude Desktop 才生效
- embedding 模型与查询模型不一致导致检索失效
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- CLI：直接 npm install -g / pip install，命令行调用
- 本地部署：CPU 8GB 起，GPU 推荐 16GB+ 显存
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 精心设计的 Prompt 框架，快速激活 AI 的深层能力
- 支持参数化替换，灵活适配多种业务场景
- 经过反复验证的指令结构，显著提升 AI 输出质量和一致性
- 适用于 Claude、ChatGPT 等主流大语言模型
- 可作为团队标准 Prompt 模板复用和二次开发
- 需要让 Claude / Cursor 操作本地工具的 AI 工程师
- 构建多智能体协作系统的 Agent 开发者
- 构建企业知识库 / RAG 检索应用的团队
- 想快速复用高质量提示词模板的 AI 用户
- 配置 MCP 服务器时建议使用 stdio 传输 + JSON-RPC，避免暴露公网
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- 分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- MCP 配置路径拼错或权限不足，重启 Claude Desktop 才生效
- embedding 模型与查询模型不一致导致检索失效
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
👥 适合人群
🎯 使用场景
- 快速生成高质量的专业文案、分析报告或结构化内容
- 利用 Prompt 框架引导 AI 解决特定领域的复杂问题
- 在不同 AI 工具间复用经过验证的提示词模板
⚖️ 优点与不足
- +MIT 协议，可免费商用
- +无需安装，立即可用
- +适配所有主流 AI 工具
- +经社区验证的最佳实践
- −效果依赖使用者对 Prompt 工程的熟悉程度
- −不同模型和版本的响应效果可能存在差异
- −复杂场景需结合实际需求二次调整
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
✅ MIT 协议 — 最宽松的开源协议之一，可自由商用、修改、分发，仅需保留版权声明。
🔗 相关工具推荐
❓ 常见问题 FAQ
总体来看，智能提示评估 是一款质量良好的Prompt模板，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | oh-my-knowledge |
| 原始描述 | 开源Prompt模板：Evaluation framework for LLM knowledge inputs — prompts, RAG corpora, skills, ag。⭐6 · TypeScript |
| Topics | AILLMbenchmarkprompt |
| GitHub | https://github.com/lizhiyao/oh-my-knowledge |
| License | MIT |
| 语言 | TypeScript |
收录时间：2026-06-01 · 更新时间：2026-06-01 · License：MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。