τ-Bench工作流基准测试
AI Skill Hub 强烈推荐：τ-Bench工作流基准测试 是一款优质的Agent工作流。已获得 1.2k 颗 GitHub Star，AI 综合评分 8.2 分，在同类工具中表现稳健。如果你正在寻找可靠的Agent工作流解决方案，这是一个值得深入了解的选择。
📚 深度解析
τ-Bench工作流基准测试 工作流的设计遵循"最小配置，最大复用"原则：核心逻辑已经封装好，用户只需配置自己的 API Key 和业务参数即可快速上手。工作流内置错误处理和重试机制，在网络波动或 API 限速等情况下仍能稳定运行，适合作为生产环境的自动化基础设施。
在实际部署时，建议先在测试环境中运行 3-5 次，验证各个环节的输出结果符合预期，再部署到生产环境。AI Skill Hub 评分 8.2 分，是同类 Agent 工作流中的精选推荐。
📋 工具概览
τ-Bench工作流基准测试 是一套完整的 AI Agent 自动化工作流方案。通过可视化的节点编排，将复杂的多步骤任务拆解为清晰的自动化流程，实现全程无人值守的智能处理。支持与数百种外部服务和 API 无缝集成，适合构建数据处理管线、业务自动化和 AI 辅助决策系统。
📖 中文文档
τ-Bench工作流基准测试 是一套完整的 AI Agent 自动化工作流方案。通过可视化的节点编排，将复杂的多步骤任务拆解为清晰的自动化流程，实现全程无人值守的智能处理。支持与数百种外部服务和 API 无缝集成，适合构建数据处理管线、业务自动化和 AI 辅助决策系统。
- 可视化 Agent 工作流编排，无需编写复杂代码
- 支持多步骤自动化任务链，实现全流程无人值守
- 与外部 API、数据库和第三方服务无缝集成
- 内置错误处理与自动重试机制，保障稳定运行
- 提供可复用的自动化模板，快速在同类场景部署
- 自动化日常重复性工作，将精力集中于创造性任务
- 构建数据采集 → 处理 → 输出的完整自动化管线
- 实现跨平台、跨系统的数据流转和业务协同
# 方式一：pip 安装（推荐）
pip install tau2-bench
# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install tau2-bench
# 方式三：从源码安装（获取最新功能）
git clone https://github.com/sierra-research/tau2-bench
cd tau2-bench
pip install -e .
# 验证安装
python -c "import tau2_bench; print('安装成功')"
- 访问 GitHub 仓库获取工作流文件
- 在对应平台（Dify / Flowise / Make 等）中找到「导入工作流」功能
- 上传工作流文件
- 按照提示配置必要的环境变量和 API Key
- 运行测试确认流程正常后投入使用
# 命令行使用
tau2-bench --help
# 基本用法
tau2-bench input_file -o output_file
# Python 代码中调用
import tau2_bench
# 示例
result = tau2_bench.process("input")
print(result)
# tau2-bench 配置文件示例（config.yml） app: name: "tau2-bench" debug: false log_level: "INFO" # 运行时指定配置文件 tau2-bench --config config.yml # 或通过环境变量配置 export TAU2_BENCH_API_KEY="your-key" export TAU2_BENCH_OUTPUT_DIR="./output"
$\tau$-Bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
Overview
$\tau$-bench is a simulation framework for evaluating customer service agents across multiple domains. It supports text-based half-duplex (turn-based) evaluation and voice full-duplex (simultaneous) evaluation using real-time audio APIs.
Each domain specifies: - A policy that the agent must follow - A set of tools that the agent can use - A set of tasks to evaluate the agent's performance - Optionally: a set of user tools for the user simulator
Available domains: mock · airline · retail · telecom · banking_knowledge · intake
τ-Entity uses --domain intake to evaluate exact entity capture in outbound calls over 200 tasks. Agent-directed elicitation is the default; --elicitation-strategy scaffolded selects the scaffolded ablation.
| Mode | Description |
|---|---|
| **Text (half-duplex)** | Turn-based chat with tool use |
| **Voice (full-duplex)** | End-to-end audio via realtime providers (OpenAI, Gemini, xAI) |
[!NOTE] τ-i18n was previously called τ-Multilingual, and τ-Entity was previously called τ-Elicitation. Only the names changed: the old names remain in technical identifiers, provenance and paper titles, and the τ-Entity domain is still intake.
Installation and a first custom run
1. Install
git clone https://github.com/sierra-research/tau2-bench
cd tau2-bench
uv sync # core, including scaffolded intake text runsOptional extras (install what you need):
uv sync --extra voice # + voice/audio-native features
uv sync --extra knowledge # + banking_knowledge domain (retrieval pipeline)
uv sync --extra gym # + gymnasium RL interface
uv sync --extra dev # + pytest, ruff, pre-commit (required for contributing)
uv sync --all-extras # everythingThis requires uv. Voice features also need system dependencies (brew install portaudio ffmpeg on macOS). See the full installation guide for details.
Getting Started
| Document | Description |
|---|---|
| [Getting Started](docs/getting-started.md) | Installation, API keys, first run, output structure, configuration |
| [Running the benchmark](docs/running-the-benchmark.md) | Text and voice benchmark commands, defaults, results layout, resume, scoring and judges |
| [Submission guide](docs/leaderboard-submission.md) | Submitting text-v1, voice-v2, voice-v1 and 1.x results |
| [Glossary](docs/glossary.md) | Pack, cell, frame, binding revision, pin, trial, judge, manifest |
| [CLI Reference](docs/cli-reference.md) | Every tau2 command's --help, generated from the CLI |
Quickstart
git clone https://github.com/sierra-research/tau2-bench
cd tau2-bench
uv sync --extra voice # drop --extra voice for text only
cp .env.example .env # add OPENAI_API_KEY (and voice keys for voice)Text benchmark:
tau2 run --benchmark text --agent-llm openai/gpt-5.5 \
--agent-llm-args '{"reasoning_effort":"low"}' --save-to text-run --dry-runVoice benchmark (create your own caller voices first; the shipped voice IDs are Sierra-internal):
python -m tau2.voice.scripts.setup_voices --language all # prints TAU2_VOICE_ID_... lines for .env
tau2 run --audio-native --audio-native-model gpt-realtime-2 \
--reasoning-effort minimal --save-to voice-run --dry-run--dry-run prints the plan without making calls. Remove it to run, then:
tau2 view --file data/simulations/voice-run # scores and calls
tau2 judges suite data/simulations/voice-run # judges (needed for a voice-v2 submission)Add --domain retail --num-tasks 2 for a 12-call smoke test. Full details: Running the benchmark and the submission guide.
Edit .env with your API keys (uses LiteLLM — any supported provider works)
```
2. Set up API keys
```bash cp .env.example .env
$\tau$-bench 是一个专门用于评估多领域客户服务 Agent 表现的仿真框架。该框架支持基于文本的半双工（Turn-based）交互评估，同时也支持通过实时音频 API 进行语音全双工（Full-duplex）的端到端评估。每个仿真领域都包含特定的 Policy（策略规范）、Tools（工具集）以及用于衡量 Agent 性能的 Tasks（任务集），旨在为 Agent 在复杂交互场景下的能力提供标准化测试。
$\tau$-bench 提供了丰富的功能模块：新增的 Knowledge Domain（如 banking_knowledge）支持可配置的 RAG 流水线、文档搜索及基于 Agentic Shell 的搜索能力；Voice Full-Duplex 功能实现了原生音频的端到端语音评估，兼容 OpenAI、Gemini 和 xAI 等实时语音提供商；此外，还支持通过 gymnasium 提供强化学习（RL）接口，满足不同研究场景的需求。
项目推荐使用 `uv` 进行环境管理。首先通过 `git clone` 克隆仓库，随后运行 `uv sync` 安装核心文本模式（包含 airline, retail, telecom, mock 领域）所需的依赖。如果需要扩展功能，可以通过 `--extra` 参数进行按需安装：`--extra voice` 用于语音功能，`--extra knowledge` 用于知识检索领域，`--extra gym` 用于强化学习接口，以及 `--extra dev` 用于开发环境。
项目提供了详尽的文档支持。开发者可以通过 `docs/getting-started.md` 获取安装指南、API keys 配置、首次运行流程及输出结构说明；通过 `docs/cli-reference.md` 查阅所有 `tau2` 命令行工具及其参数选项，从而实现从环境搭建到自动化评估的完整闭环。
项目配置主要通过 `.env` 文件进行管理。开发者需要将 `.env.example` 复制为 `.env` 并填入相应的 API keys。由于底层集成了 LiteLLM，该框架支持几乎所有主流的 LLM 提供商，方便开发者灵活切换不同的模型进行测试与评估。
框架通过集成 LiteLLM 提供统一的 API 调用能力，支持多种大模型后端。对于语音交互场景，支持接入 OpenAI、Gemini 和 xAI 的实时音频 API，实现从文本到语音、从语音到文本的全链路端到端评估。
专业基准测试工具，填补AI工作流评估空白。实验设计严谨，指标体系完整，是智能体系统优化必备参考
- 构建多智能体协作系统的 Agent 开发者
- 构建企业知识库 / RAG 检索应用的团队
- 分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- embedding 模型与查询模型不一致导致检索失效
- Python 依赖冲突：建议用 venv / uv 隔离环境
- CLI：直接 npm install -g / pip install，命令行调用
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 可视化 Agent 工作流编排，无需编写复杂代码
- 支持多步骤自动化任务链，实现全流程无人值守
- 与外部 API、数据库和第三方服务无缝集成
- 内置错误处理与自动重试机制，保障稳定运行
- 提供可复用的自动化模板，快速在同类场景部署
- 构建多智能体协作系统的 Agent 开发者
- 构建企业知识库 / RAG 检索应用的团队
- 分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- embedding 模型与查询模型不一致导致检索失效
- Python 依赖冲突：建议用 venv / uv 隔离环境
👥 适合人群
🎯 使用场景
- 自动化日常重复性工作，将精力集中于创造性任务
- 构建数据采集 → 处理 → 输出的完整自动化管线
- 实现跨平台、跨系统的数据流转和业务协同
⚖️ 优点与不足
- +MIT 协议，可免费商用
- +大幅减少重复性人工操作
- +可视化流程，清晰直观
- +可扩展性强，支持复杂场景
- −初始配置和调试需投入一定时间
- −强依赖外部服务的稳定性
- −复杂场景需具备一定技术基础
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
✅ MIT 协议 — 最宽松的开源协议之一，可自由商用、修改、分发，仅需保留版权声明。
🔗 相关工具推荐
❓ 常见问题 FAQ
总体来看，τ-Bench工作流基准测试 是一款质量优秀的Agent工作流，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | tau2-bench |
| 原始描述 | 开源AI工作流：τ-Bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains。⭐1.2k · Python |
| Topics | 基准测试智能体评估工作流工具调用LLM评估 |
| GitHub | https://github.com/sierra-research/tau2-bench |
| License | MIT |
| 语言 | Python |
收录时间：2026-05-20 · 更新时间：2026-05-30 · License：MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。