AI Skill Hub 推荐使用：轻量代理 是一款优质的Agent工作流。AI 综合评分 7.5 分，在同类工具中表现稳健。如果你正在寻找可靠的Agent工作流解决方案，这是一个值得深入了解的选择。
📚 深度解析
轻量代理 工作流的设计遵循"最小配置，最大复用"原则：核心逻辑已经封装好，用户只需配置自己的 API Key 和业务参数即可快速上手。工作流内置错误处理和重试机制，在网络波动或 API 限速等情况下仍能稳定运行，适合作为生产环境的自动化基础设施。
在实际部署时，建议先在测试环境中运行 3-5 次，验证各个环节的输出结果符合预期，再部署到生产环境。AI Skill Hub 评分 7.5 分，是同类 Agent 工作流中的精选推荐。
📋 工具概览
高性能轻量代理和负载均衡器，适用于LLM基础设施
轻量代理 是一套完整的 AI Agent 自动化工作流方案。通过可视化的节点编排，将复杂的多步骤任务拆解为清晰的自动化流程，实现全程无人值守的智能处理。支持与数百种外部服务和 API 无缝集成，适合构建数据处理管线、业务自动化和 AI 辅助决策系统。
📖 中文文档
高性能轻量代理和负载均衡器，适用于LLM基础设施
轻量代理 是一套完整的 AI Agent 自动化工作流方案。通过可视化的节点编排，将复杂的多步骤任务拆解为清晰的自动化流程，实现全程无人值守的智能处理。支持与数百种外部服务和 API 无缝集成，适合构建数据处理管线、业务自动化和 AI 辅助决策系统。
- 可视化 Agent 工作流编排，无需编写复杂代码
- 支持多步骤自动化任务链，实现全流程无人值守
- 与外部 API、数据库和第三方服务无缝集成
- 内置错误处理与自动重试机制，保障稳定运行
- 提供可复用的自动化模板，快速在同类场景部署
- 自动化日常重复性工作，将精力集中于创造性任务
- 构建数据采集 → 处理 → 输出的完整自动化管线
- 实现跨平台、跨系统的数据流转和业务协同
# 方式一：go install（推荐） go install github.com/thushan/olla@latest # 方式二：从源码编译 git clone https://github.com/thushan/olla cd olla go build -o olla . # 方式三：下载预编译二进制 # 访问 Releases 页面下载对应平台二进制文件 # https://github.com/thushan/olla/releases
- 访问 GitHub 仓库获取工作流文件
- 在对应平台（Dify / Flowise / Make 等）中找到「导入工作流」功能
- 上传工作流文件
- 按照提示配置必要的环境变量和 API Key
- 运行测试确认流程正常后投入使用
# 查看帮助 olla --help # 基本运行 olla [options] <input> # 详细使用说明请查阅文档 # https://github.com/thushan/olla
# olla 配置说明 # 查看配置选项 olla --config-example > config.yml # 常见配置项 # output_dir: ./output # log_level: info # workers: 4 # 环境变量（覆盖配置文件） export OLLA_CONFIG="/path/to/config.yml"
简介
Olla is a high-performance, low-overhead, low-latency proxy and load balancer for managing LLM infrastructure. It intelligently routes LLM requests across local and remote inference nodes with a wide variety of natively supported endpoints and extensible enough to support others. Olla provides model discovery and unified model catalogues within each provider, enabling seamless routing to available models on compatible endpoints.
Olla works alongside API gateways like LiteLLM or orchestration platforms like GPUStack, focusing on making your existing LLM infrastructure reliable through intelligent routing and failover. You can choose between two proxy engines: Sherpa for simplicity and maintainability or Olla for maximum performance with advanced features like circuit breakers and connection pooling.
Single CLI application and config file is all you need to go Olla!
For Large GPU deployments, Enterprise & Data-Centre use, see TensorFoundry FoundryOS.
Key Features
- 🔄 Smart Load Balancing: Priority-based routing with automatic failover and connection retry
- 📌 Sticky Sessions: KV-cache-aware affinity routing that pins multi-turn conversations to the same backend
- 🔍 Smart Model Unification: Per-provider unification + OpenAI-compatible cross-provider routing
- ⚡ Dual Proxy Engines: Sherpa (simple) and Olla (high-performance)
- 🎯 Advanced Filtering: Profile and model filtering with glob patterns for precise control
- 💊 Health Monitoring: Continuous endpoint health checks with circuit breakers and automatic recovery
- 🔁 Intelligent Retry: Automatic retry on connection failures with immediate transparent endpoint failover
- 🔧 Self-Healing: Automatic model discovery refresh when endpoints recover
- 📊 Request Tracking: Detailed response headers and statistics
- ⚡🔄 Anthropic Messages API: Passthrough for backends with native support; automatic translation for others
- 🛡️ Production Ready: Rate limiting, request size limits, optional CORS for browser clients, graceful shutdown
- ⚡ High Performance: Sub-millisecond endpoint selection with lock-free atomic stats
- 🎯 LLM-Optimised: Streaming-first design with optimised timeouts for long inference
- ⚙️ High Performance: Designed to be very lightweight & efficient, runs on less than 50Mb RAM.
Installation
```bash
Docker (automatically pulls correct architecture)
docker run -t \ --name olla \ -p 40114:40114 \ ghcr.io/thushan/olla:latest
Install via Go
go install github.com/thushan/olla@latest
Build from source
git clone https://github.com/thushan/olla.git && cd olla && make build-release
Build Docker image locally (no goreleaser required)
git clone https://github.com/thushan/olla.git && cd olla && make docker-build-local docker run -p 40114:40114 ghcr.io/thushan/olla:local ```
Quick Start
Examples
We've also got ready-to-use Docker Compose setups for common scenarios:
Guides
In-depth guides on the TensorFoundry blog:
- What is an LLM Proxy? - Why you end up needing one
- Olla vs LiteLLM - Where each fits, where each wins
- Deploying LLMs on Your Own Infrastructure - A practical guide
- LLM Inference Servers Compared - vLLM, SGLang, llama.cpp and Ollama
Check endpoints
curl http://localhost:40114/internal/status/endpoints
🤖 **Anthropic Message API / CLI Tools - Claude Code, OpenCode, Crush**
Olla's Anthropic Messages API support (v0.0.20+) is enabled by default, allowing you to use CLI tools like Claude Code with local AI models on your machine via /olla/anthropic. It operates in two modes depending on your backend:
- ⚡ Passthrough: requests are forwarded as-is for backends with native Anthropic support (vLLM, llama.cpp, Ollama, LM Studio, Lemonade)
- 🔄 Translation: Anthropic ↔ OpenAI format conversion for backends that don't natively support the Anthropic Messages API
Still actively being improved -- please report any issues or feedback.
We have examples for:
Learn more about Anthropic API Translation.
🌐 **OpenWebUI Integration**
Complete setup with OpenWebUI + Olla load balancing multiple Ollama instances or unify all OpenAI compatible models.
- See: examples/ollama-openwebui/ - Services: OpenWebUI (web UI) + Olla (proxy/load balancer) - Use Case: Web interface with intelligent load balancing across multiple Ollama servers with Olla - Quick Start:
cd examples/ollama-openwebui
# Edit olla.yaml to configure your Ollama endpoints
docker compose up -d
# Access OpenWebUI at http://localhost:3000
You can learn more about OpenWebUI Ollama with Olla or see OpenWebUI OpenAI with Olla.
高性能轻量代理，适用于LLM基础设施优化
- 跨境业务、多语言内容运营团队
- 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 容器内无法访问宿主机 localhost — 使用 host.docker.internal
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- Docker：olla 提供官方镜像，docker compose up 一键启动
- CLI：直接 npm install -g / pip install，命令行调用
- 本地部署：CPU 8GB 起，GPU 推荐 16GB+ 显存
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 可视化 Agent 工作流编排，无需编写复杂代码
- 支持多步骤自动化任务链，实现全流程无人值守
- 与外部 API、数据库和第三方服务无缝集成
- 内置错误处理与自动重试机制，保障稳定运行
- 提供可复用的自动化模板，快速在同类场景部署
- 跨境业务、多语言内容运营团队
- 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 容器内无法访问宿主机 localhost — 使用 host.docker.internal
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
👥 适合人群
🎯 使用场景
- 自动化日常重复性工作，将精力集中于创造性任务
- 构建数据采集 → 处理 → 输出的完整自动化管线
- 实现跨平台、跨系统的数据流转和业务协同
⚖️ 优点与不足
- +Apache-2.0 协议，可免费商用
- +大幅减少重复性人工操作
- +可视化流程，清晰直观
- +可扩展性强，支持复杂场景
- −初始配置和调试需投入一定时间
- −强依赖外部服务的稳定性
- −复杂场景需具备一定技术基础
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
✅ Apache 2.0 — 宽松开源协议，可商用，需保留版权声明和 NOTICE 文件，含专利授权条款。
🔗 相关工具推荐
❓ 常见问题 FAQ
总体来看，轻量代理 是一款质量良好的Agent工作流，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | olla |
| 原始描述 | 开源AI工作流：High-performance lightweight proxy and load balancer for LLM infrastructure. Int。⭐238 · Go |
| Topics | AIGo代理负载均衡 |
| GitHub | https://github.com/thushan/olla |
| License | Apache-2.0 |
| 语言 | Go |
收录时间：2026-06-06 · 更新时间：2026-06-08 · License：Apache-2.0 · AI Skill Hub 不对第三方内容的准确性作法律背书。