📄 工具详情 ⚙️ 安装教程 📚 使用教程

能力标签

⚙️

Agent工作流

PawBench

基于 Python · 无代码搭建完整 AI 自动化流程

⭐ 50 Stars 🍴 2 Forks 💻 Python 📄 Apache-2.0 🏷 AI 8.0分

8.0AI 综合评分

benchmarkharnessllmpython

⬇ 下载源码 ZIP ⚙️ 配置说明

✦ AI Skill Hub 推荐

AI Skill Hub 强烈推荐：PawBench 是一款优质的Agent工作流。AI 综合评分 8.0 分，在同类工具中表现稳健。如果你正在寻找可靠的Agent工作流解决方案，这是一个值得深入了解的选择。

📚 深度解析

PawBench 是一套完整的 AI Agent 自动化工作流方案。随着 AI 能力的不断提升，基于 Agent 的自动化工作流正在成为提升个人和团队效率的核心方式。区别于传统的 RPA 自动化（模拟鼠标键盘操作），AI Agent 工作流通过理解任务意图、动态规划执行路径，能够处理更复杂的非结构化任务。

PawBench 工作流的设计遵循"最小配置，最大复用"原则：核心逻辑已经封装好，用户只需配置自己的 API Key 和业务参数即可快速上手。工作流内置错误处理和重试机制，在网络波动或 API 限速等情况下仍能稳定运行，适合作为生产环境的自动化基础设施。

在实际部署时，建议先在测试环境中运行 3-5 次，验证各个环节的输出结果符合预期，再部署到生产环境。AI Skill Hub 评分 8.0 分，是同类 Agent 工作流中的精选推荐。

📋 工具概览

PawBench 是一套完整的 AI Agent 自动化工作流方案。通过可视化的节点编排，将复杂的多步骤任务拆解为清晰的自动化流程，实现全程无人值守的智能处理。支持与数百种外部服务和 API 无缝集成，适合构建数据处理管线、业务自动化和 AI 辅助决策系统。

GitHub Stars

⭐ 50

开发语言

Python

支持平台

Windows / macOS / Linux

维护状态

轻量级项目，按需更新

开源协议

Apache-2.0

AI 综合评分

8.0 分

工具类型

Agent工作流

Forks

📖 中文文档

以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

📌 核心特色

可视化 Agent 工作流编排，无需编写复杂代码
支持多步骤自动化任务链，实现全流程无人值守
与外部 API、数据库和第三方服务无缝集成
内置错误处理与自动重试机制，保障稳定运行
提供可复用的自动化模板，快速在同类场景部署

🎯 主要使用场景

自动化日常重复性工作，将精力集中于创造性任务
构建数据采集 → 处理 → 输出的完整自动化管线
实现跨平台、跨系统的数据流转和业务协同

以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。

安装命令

# 方式一：pip 安装（推荐）
pip install pawbench

# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate  # Windows: .venv\Scripts\activate
pip install pawbench

# 方式三：从源码安装（获取最新功能）
git clone https://github.com/agentscope-ai/PawBench
cd PawBench
pip install -e .

# 验证安装
python -c "import pawbench; print('安装成功')"

📋 安装步骤说明

访问 GitHub 仓库获取工作流文件
在对应平台（Dify / Flowise / Make 等）中找到「导入工作流」功能
上传工作流文件
按照提示配置必要的环境变量和 API Key
运行测试确认流程正常后投入使用

以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。

常用命令 / 代码示例

# 命令行使用
pawbench --help

# 基本用法
pawbench input_file -o output_file

# Python 代码中调用
import pawbench

# 示例
result = pawbench.process("input")
print(result)

以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。

配置示例

# pawbench 配置文件示例（config.yml）
app:
  name: "pawbench"
  debug: false
  log_level: "INFO"

# 运行时指定配置文件
pawbench --config config.yml

# 或通过环境变量配置
export PAWBENCH_API_KEY="your-key"
export PAWBENCH_OUTPUT_DIR="./output"

📑 README 深度解析真实文档完整度 39/100 查看 GitHub 原文 →

以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

简介

🐾 PawBench

<a href="README.md">English</a> · <a href="README.zh-CN.md">简体中文</a>

A Model × Harness co-evaluation benchmark for agentic AI. 150 agent tasks · 9 models · 3 harnesses · task slices · diagnostic traces

---

The same model can behave very differently once it is placed inside a real agent runtime. A failure may come from model reasoning, missing tools, weak skill discovery, poor workspace awareness, brittle web access, or a completion check that is too loose. A single final pass rate cannot separate these causes.

PawBench is built around one claim:

$$\text{Agent Performance} = f(\text{Model}, \text{Harness})$$

[!NOTE] PawBench is part of the OpenJudge ecosystem. It shares OpenJudge's philosophy of evaluation-driven optimization, but focuses specifically on the interaction between LLMs and agent harnesses.

It evaluates the model and the harness together while keeping enough metadata to read both dimensions independently. v1.0 covers 9 models × 3 harnesses × 150 tasks, with public prompts, graders, task labels, submissions, and leaderboard slices.

PawBench overview and taxonomy

With PawBench, you can:

Select models & harnesses for text, multimodal, skill-heavy, and web-search workloads.
Diagnose whether a regression comes from the model, the harness, or the grader.
Iterate on a harness change, rerun the same task slice, and check whether the targeted score actually moves.
Contribute new harnesses, tasks, graders, submissions, and bug fixes back into a shared evaluation loop.

Requirements

Python 3.11+ and Docker are required. Node.js 20+ is only needed for the leaderboard site.

Install dependencies and add credentials. DashScope is the recommended provider for the default setup:

pip install -r requirements.txt

cat > .env <<'EOF'
DASHSCOPE_API_KEY=...
JUDGE_API_KEY=...
JUDGE_BASE_URL=...
EOF

For OpenAI-compatible or custom providers, set OPENAI_API_KEY / OPENAI_BASE_URL or CUSTOM_API_KEY / CUSTOM_BASE_URL as needed.

Quick Start

Evaluation Workflows

PawBench is intended to be used as a diagnostic benchmark, not just a ranking table.

Goal	Recommended setup	What to inspect
Choose a model	Fix one harness, run multiple models	Overall score, text/multimodal split, cost and trace quality
Choose a harness	Fix one model, run multiple harnesses	Harness gap, task errors, tool-use traces, workspace artifacts
Debug a harness	Rerun targeted slices after a change	Capability/source/scenario deltas, failed graders, transcripts
Add a dataset	Add tasks with the five-label taxonomy	Coverage balance, grader reliability, task detail page
Submit results	Aggregate run logs into `submissions/*.json`	Leaderboard row, slice payloads, task error count

💡 Optimize Your Evaluation Logic with OpenJudge To build your own evaluation system beyond the LLM × Harness vertical, you can leverage OpenJudge's 50+ production-ready graders (relevance, tool selection, trajectory, etc.) to evaluate and optimize your custom agents.