AI Skill Hub 推荐使用:bench-loop 是一款优质的Agent工作流。AI 综合评分 7.5 分,在同类工具中表现稳健。如果你正在寻找可靠的Agent工作流解决方案,这是一个值得深入了解的选择。
bench-loop:开源AI工作流,用于本地CLIbenchmarkingLLMs的质量、速度和可靠性。
bench-loop 是一套完整的 AI Agent 自动化工作流方案。通过可视化的节点编排,将复杂的多步骤任务拆解为清晰的自动化流程,实现全程无人值守的智能处理。支持与数百种外部服务和 API 无缝集成,适合构建数据处理管线、业务自动化和 AI 辅助决策系统。
bench-loop:开源AI工作流,用于本地CLIbenchmarkingLLMs的质量、速度和可靠性。
bench-loop 是一套完整的 AI Agent 自动化工作流方案。通过可视化的节点编排,将复杂的多步骤任务拆解为清晰的自动化流程,实现全程无人值守的智能处理。支持与数百种外部服务和 API 无缝集成,适合构建数据处理管线、业务自动化和 AI 辅助决策系统。
# 方式一:pip 安装(推荐)
pip install bench-loop
# 方式二:虚拟环境安装(推荐生产环境)
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install bench-loop
# 方式三:从源码安装(获取最新功能)
git clone https://github.com/outsourc-e/bench-loop
cd bench-loop
pip install -e .
# 验证安装
python -c "import bench_loop; print('安装成功')"
# 命令行使用
bench-loop --help
# 基本用法
bench-loop input_file -o output_file
# Python 代码中调用
import bench_loop
# 示例
result = bench_loop.process("input")
print(result)
# bench-loop 配置文件示例(config.yml) app: name: "bench-loop" debug: false log_level: "INFO" # 运行时指定配置文件 bench-loop --config config.yml # 或通过环境变量配置 export BENCH_LOOP_API_KEY="your-key" export BENCH_LOOP_OUTPUT_DIR="./output"
<p align="center"> <img src="https://raw.githubusercontent.com/outsourc-e/bench-loop-web/main/site/public/og-image.png" alt="BenchLoop" width="640" /> </p>
<p align="center"> <a href="https://bench-loop.com"><img src="https://img.shields.io/badge/site-bench--loop.com-2dd47f?style=flat-square" alt="site" /></a> <a href="https://pypi.org/project/benchloop-cli/"><img src="https://img.shields.io/pypi/v/benchloop-cli?style=flat-square&color=2dd47f" alt="pypi" /></a> <a href="https://github.com/outsourc-e/bench-loop/blob/main/LICENSE"><img src="https://img.shields.io/badge/license-MIT-2dd47f?style=flat-square" alt="MIT" /></a> <img src="https://img.shields.io/badge/status-beta-eab308?style=flat-square" alt="beta" /> </p>
Benchmark local LLMs by what actually matters.
BenchLoop is a local-first CLI + web app for benchmarking LLMs running on your own hardware or cloud providers. It scores models across seven repeatable suites — quality, speed, reliability, agentic tool use, coding, instruction following — and gives you receipts: per-task outputs, latency, token counts, machine info, scores.
No accounts, no telemetry. Local models need no API keys; cloud providers use standard OpenAI-compatible auth. Your model, your machine (or your provider), your numbers.
$ benchloop run --model qwen3:8b --suites speed,toolcall,agent
... 8 tasks, 4 tools, 6 turns avg, 74.6 tok/s ...
Overall 73.4 ████████░░
Quality 73.6 ████████░░
Speed 78.9 █████████░
Agent 96.9 █████████▌
Published runs live at <https://bench-loop.com/leaderboard>. Every completed local benchmark auto-publishes there.
export OPENAI_API_KEY="sk-..." benchloop run \ --model qwen3.7-max \ --provider openai_compat \ --endpoint https://dashscope-intl.aliyuncs.com/compatible-mode \ --remote
export OPENAI_API_KEY="your-key-here" benchloop run --model your-model --provider openai_compat --endpoint http://your-server:8000
Works with any OpenAI-compatible endpoint — DashScope, OpenRouter, Together, OpenAI, vLLM with auth, sglang, etc.
```bash
Required for vLLM, sglang, and most cloud providers. Two ways to provide it:
```bash
benchloop run --model your-model --provider openai_compat --endpoint http://your-server:8000 --api-key your-key-here ```
The CLI flag takes precedence over the env var. For Ollama and local providers without auth, neither is needed.
bench-loop是一个开源的AI工作流,提供了一个本地CLI用于benchmarkingLLMs的质量、速度和可靠性。虽然它是一个有用的工具,但仍然需要进一步的开发和测试。
AI Skill Hub 为第三方内容聚合平台,本页面信息基于公开数据整理,不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后,再部署至生产环境,并做好必要的安全评估。
✅ MIT 协议 — 最宽松的开源协议之一,可自由商用、修改、分发,仅需保留版权声明。
总体来看,bench-loop 是一款质量良好的Agent工作流,在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态,建议收藏备用,结合自身场景选择合适时机引入使用。
| 原始名称 | bench-loop |
| 原始描述 | 开源AI工作流:Local-first CLI for benchmarking LLMs on real hardware — quality, speed, reliabi。⭐25 · Python |
| Topics | workflowagentbenchmarkclievaluationllmpython |
| GitHub | https://github.com/outsourc-e/bench-loop |
| License | MIT |
| 语言 | Python |
收录时间:2026-05-23 · 更新时间:2026-05-24 · License:MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。
选择 Agent 类型,复制安装指令后粘贴到对应客户端