轻量LLM网关
AI Skill Hub 推荐使用：轻量LLM网关 是一款优质的AI工具。AI 综合评分 7.5 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。
📚 深度解析
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
轻量LLM网关 依赖 TypeScript 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 TypeScript 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 轻量LLM网关 的版本更新，及时通知重要功能变化。
📋 工具概览
轻量LLM网关 是一款基于 TypeScript 开发的开源工具，专注于 LLM、网关、模型管理 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
📖 中文文档
轻量LLM网关 是一款基于 TypeScript 开发的开源工具，专注于 LLM、网关、模型管理 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 方式一：npm 全局安装 npm install -g llm-gateway # 方式二：npx 直接运行（无需安装） npx llm-gateway --help # 方式三：项目依赖安装 npm install llm-gateway # 方式四：从源码运行 git clone https://github.com/sxueck/llm-gateway cd llm-gateway npm install npm start
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 命令行使用
llm-gateway --help
# 基本用法
llm-gateway [options] <input>
# Node.js 代码中使用
const llm_gateway = require('llm-gateway');
const result = await llm_gateway.run(options);
console.log(result);
# llm-gateway 配置说明 # 查看配置选项 llm-gateway --config-example > config.yml # 常见配置项 # output_dir: ./output # log_level: info # workers: 4 # 环境变量（覆盖配置文件） export LLM_GATEWAY_CONFIG="/path/to/config.yml"
LLM Gateway
English | 中文
</div>
生产级别 LLM 网关管理系统，部署六个月已稳定负载超过 500亿 Token 的任务处理（持续累积中） 提供直观的 Web UI 界面，用于管理多个 LLM 提供商、虚拟密钥、路由配置和模型管理
<p align="center"> <img width="80%" alt="Dashboard" src="https://github.com/user-attachments/assets/a69d7e89-5225-4c2e-bae3-d11faddc9b56" /> </p> <p align="center"> <img width="80%" alt="Health Monitoring" src="https://github.com/user-attachments/assets/196adf78-2346-41f9-903b-a18920464486" /> </p>
<p align="center"> <a href="./docs/screenshot.md">更多截图</a> </p>
---
特性
| 功能 | 描述 |
|---|---|
| **提供商管理** | 支持 20+ 主流 LLM 提供商：OpenAI、Anthropic、Google、DeepSeek 等 |
| **虚拟密钥** | 创建和管理虚拟 API 密钥，支持速率限制和访问控制 |
| **路由配置** | 负载均衡和故障转移策略，提高服务可用性 |
| **模型管理** | 统一管理所有提供商的模型，支持批量导入和自定义配置 |
| **多端点支持** | 兼容 /v1/chat/completions、/v1/responses、/v1/messages 等端点 |
| **健康监控** | 免登录健康检查页面，实时展示模型可用率、延迟分位数（P50/P95）和错误分布 |
| **用户认证** | 基于 JWT 的安全认证机制 |
| **实时监控** | 仪表盘展示系统状态和配置信息 |
| **中转站支持** | 隔离 Codex 等上游强制注入的提示词，使下游应用对 Prompt 遵循更规范 |
| **内置 PII 保护** | 自动检测和脱敏请求中的个人身份信息，支持流式响应还原 |
---
功能特性
- 实时状态监控 - 显示所有配置的模型目标的当前状态（健康/降级/宕机）
- 可用率统计 - 展示 1小时 和 24小时 的可用率
- 延迟指标 - P50 和 P95 延迟统计
- 错误追踪 - 记录并展示错误类型和错误信息
- 自动刷新 - 默认每 60 秒自动刷新数据
- 详细历史 - 点击目标可查看详细的检查历史记录
安装依赖（包含 packages/backend 与 packages/web）
bun install ```
启动服务
```bash
同时启动后端(3000)与前端(5173)
bun run dev:all
| 服务 | 地址 |
|------|------|
| Web UI | http://localhost:5173 |
| Backend API | http://localhost:3000 |
**单独启动：**
启动后端（生产模式）
bun run start ```
提示：前端产物位于 packages/web/dist，请使用 Nginx/静态文件服务单独部署
快速使用
- 添加供应商 - 添加类似 DeepSeek 的 AI 服务商，并填入供应商密钥
- 添加模型 - 添加供应商提供的 AI 模型（如 DeepSeek 的
deepseek-chat） - 创建虚拟密钥 - 用于访问 LLM Gateway 的 API
- (可选) 配置 Prompt 管理规则 - 实现 prompt 的动态修改和增强
- 使用虚拟密钥访问 API - 在应用中调用 LLM Gateway
---
配置
创建 .env 文件并配置环境变量：
cp .env.example .env编辑 .env 文件（至少需要配置 MySQL 与 JWT_SECRET）：
```env PORT=3000 NODE_ENV=development LOG_LEVEL=info JWT_SECRET=your-secret-key-change-this-in-production
MySQL 数据库配置
MYSQL_HOST=localhost MYSQL_PORT=3306 MYSQL_USER=root MYSQL_PASSWORD=your-mysql-password MYSQL_DATABASE=llm_gateway ```
重要: 生产环境请务必修改 JWT_SECRET 为一个强随机字符串（至少 32 字符）
配置健康检查目标
健康检查目标通过数据库配置，可以为任何模型或虚拟模型设置健康检查：
-- 示例：为模型添加健康检查
INSERT INTO health_targets (id, name, type, target_id, enabled, check_interval_seconds, check_prompt)
VALUES ('target-1', 'DeepSeek Chat', 'model', 'model-id-here', 1, 300, 'Say "OK"');主要配置参数：
| 参数 | 说明 | 默认值 |
|---|---|---|
check_interval_seconds | 检查频率（秒） | 300 秒（5分钟） |
check_prompt | 健康检查使用的提示词 | "Say 'OK'" |
check_config | JSON 配置，可设置超时、重试等参数 | - |
API 端点
健康监控提供以下公开 API 端点（免鉴权）：
| 端点 | 描述 |
|---|---|
GET /public/health/summary | 获取所有目标的汇总信息 |
GET /public/health/targets | 获取目标清单 |
GET /public/health/detail?target_id=xxx | 获取单个目标的详细信息 |
GET /public/health/runs?target_id=xxx&window=24h&page=1&page_size=50 | 获取检查历史记录 |
轻量级LLM网关，易于使用和扩展
- 需要 llm-gateway 解决具体问题的开发者与运营人员
- 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 容器内无法访问宿主机 localhost — 使用 host.docker.internal
- Docker：llm-gateway 提供官方镜像，docker compose up 一键启动
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 需要 llm-gateway 解决具体问题的开发者与运营人员
- 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 容器内无法访问宿主机 localhost — 使用 host.docker.internal
👥 适合人群
🎯 使用场景
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
- +MIT 协议，可免费商用
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
✅ MIT 协议 — 最宽松的开源协议之一，可自由商用、修改、分发，仅需保留版权声明。
🔗 相关工具推荐
❓ 常见问题 FAQ
总体来看，轻量LLM网关 是一款质量良好的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | llm-gateway |
| 原始描述 | 开源AI工具：Lightweight distributed LLM gateway w/ web UI for model mgmt & routing. Supports。⭐39 · TypeScript |
| Topics | LLM网关模型管理路由 |
| GitHub | https://github.com/sxueck/llm-gateway |
| License | MIT |
| 语言 | TypeScript |
收录时间：2026-06-04 · 更新时间：2026-06-06 · License：MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。