能力标签
🛠
AI工具

LLM网关

基于 TypeScript · 开源免费,本地部署,数据完全自主可控
英文名:llmgateway
⭐ 1.2k Stars 🍴 139 Forks 💻 TypeScript 📄 NOASSERTION 🏷 AI 7.5分
7.5AI 综合评分
aiai-gatewayanalytics
✦ AI Skill Hub 推荐

经 AI Skill Hub 精选评估,LLM网关 获评「推荐使用」。已获得 1.2k 颗 GitHub Star,这款AI工具在功能完整性、社区活跃度和易用性方面表现出色,AI 评分 7.5 分,适合有一定技术背景的用户使用。

📚 深度解析
LLM网关 是一款基于 TypeScript 的开源工具,在 GitHub 上收获 1k+ Star,是ai、ai-gateway、analytics领域中的优质开源项目。开源工具的最大优势在于代码完全透明,你可以审计每一行代码的安全性,也可以根据自身需求进行二次开发和定制。

**为什么要使用开源工具而非商业 SaaS?**
对于个人开发者和有隐私需求的用户,本地部署的开源工具意味着数据不离本机,不受第三方服务商的数据政策约束。同时,开源工具通常没有使用次数限制和月度费用,一次安装即可长期使用,对于高频使用场景的总拥有成本(TCO)远低于订阅制商业工具。

**安装与环境准备**
LLM网关 依赖 TypeScript 运行环境。建议通过 pyenv(Python)或 nvm(Node.js)管理 TypeScript 版本,避免全局环境污染。对于新手用户,推荐先创建虚拟环境(python -m venv venv && source venv/bin/activate),再安装依赖,这样即使出现问题也可以随时删除虚拟环境重新开始,不影响系统稳定性。

**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues(已关闭的问题),大多数常见问题都已有解答。遇到 Bug 时,提供 pip list 的输出、完整错误堆栈和最小可复现示例,能显著提高开发者响应速度。AI Skill Hub 将持续追踪 LLM网关 的版本更新,及时通知重要功能变化。
📋 工具概览

一款开源AI工具,帮助您管理和分析来自多个LLM提供商的请求,提高效率和准确性。

LLM网关 是一款基于 TypeScript 开发的开源工具,专注于 ai、ai-gateway、analytics 等核心功能。作为 GitHub 开源项目,它拥有活跃的社区支持和持续的版本迭代,代码完全透明可审计,支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流,都能提供稳定可靠的解决方案。

GitHub Stars
⭐ 1.2k
开发语言
TypeScript
支持平台
Windows / macOS / Linux
维护状态
正常维护,社区驱动
开源协议
NOASSERTION
AI 综合评分
7.5 分
工具类型
AI工具
Forks
139
📖 中文文档
以下内容由 AI Skill Hub 根据项目信息自动整理,如需查看完整原始文档请访问底部「原始来源」。

一款开源AI工具,帮助您管理和分析来自多个LLM提供商的请求,提高效率和准确性。

LLM网关 是一款基于 TypeScript 开发的开源工具,专注于 ai、ai-gateway、analytics 等核心功能。作为 GitHub 开源项目,它拥有活跃的社区支持和持续的版本迭代,代码完全透明可审计,支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流,都能提供稳定可靠的解决方案。

📌 核心特色
  • 开源免费,支持本地部署,数据完全自主可控
  • 活跃的 GitHub 开源社区,持续迭代更新
  • 提供详细文档和使用示例,新手友好
  • 支持自定义配置,灵活适配不同使用环境
  • 可作为基础组件集成进现有技术栈或进行二次开发
🎯 主要使用场景
  • 本地部署运行,保护数据隐私,满足合规要求
  • 自定义集成到现有系统,扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发
以下安装命令基于项目开发语言和类型自动生成,实际以官方 README 为准。
安装命令
# 方式一:npm 全局安装
npm install -g llmgateway

# 方式二:npx 直接运行(无需安装)
npx llmgateway --help

# 方式三:项目依赖安装
npm install llmgateway

# 方式四:从源码运行
git clone https://github.com/theopenco/llmgateway
cd llmgateway
npm install
npm start
📋 安装步骤说明
  1. 访问 GitHub 仓库页面
  2. 按照 README 文档完成依赖安装
  3. 根据系统环境完成初始化配置
  4. 参考官方示例或文档开始使用
  5. 遇到问题可在 GitHub Issues 中查找解答
以下用法示例由 AI Skill Hub 整理,涵盖最常见的使用场景。
常用命令 / 代码示例
# 命令行使用
llmgateway --help

# 基本用法
llmgateway [options] <input>

# Node.js 代码中使用
const llmgateway = require('llmgateway');

const result = await llmgateway.run(options);
console.log(result);
以下配置示例基于典型使用场景生成,具体参数请参照官方文档调整。
配置示例
# llmgateway 配置说明
# 查看配置选项
llmgateway --config-example > config.yml

# 常见配置项
# output_dir: ./output
# log_level: info
# workers: 4

# 环境变量(覆盖配置文件)
export LLMGATEWAY_CONFIG="/path/to/config.yml"
📑 README 深度解析 真实文档 完整度 44/100 查看 GitHub 原文 →
以下内容由系统直接从 GitHub README 解析整理,保留代码块、表格与列表结构。

LLM Gateway

LLM Gateway is an open-source API gateway for Large Language Models (LLMs). It acts as a middleware between your applications and various LLM providers, allowing you to:

  • Route requests to multiple LLM providers (OpenAI, Anthropic, Google Vertex AI, and others)
  • Manage API keys for different providers in one place
  • Track token usage and costs across all your LLM interactions
  • Analyze performance metrics to optimize your LLM usage

Features

  • Unified API Interface: Compatible with the OpenAI API format for seamless migration
  • Usage Analytics: Track requests, tokens used, response times, and costs
  • Multi-provider Support: Connect to various LLM providers through a single gateway
  • Performance Monitoring: Compare different models' performance and cost-effectiveness

Enterprise features include:

  • Advanced billing and subscription management
  • Extended data retention (unlimited vs 30 days)
  • Custom provider key configurations
  • Team and organization management
  • Priority support
  • And more to be defined

For enterprise licensing, please contact us at contact@llmgateway.io

Getting Started

You can use LLM Gateway in two ways:

  • Hosted Version: For immediate use without setup, visit llmgateway.io to create an account and get an API key.
  • Self-Hosted: Deploy LLM Gateway on your own infrastructure for complete control over your data and configuration.

Self-Hosted With Docker

Use Docker-managed volumes for the unified image. Do not bind-mount a host directory directly to /var/lib/postgresql/data, because PostgreSQL initialization inside the container needs to set permissions on that directory and that can fail depending on the host filesystem and ownership.

export LLM_GATEWAY_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
export GATEWAY_API_KEY_HASH_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
./scripts/run-unified-container.sh

If you prefer a one-off docker run, use named volumes instead of ~/some-host-dir:

docker volume create llmgateway_postgres
docker volume create llmgateway_redis

docker run -d \
  --name llmgateway \
  --restart unless-stopped \
  -p 3002:3002 \
  -p 3003:3003 \
  -p 3005:3005 \
  -p 3006:3006 \
  -p 4001:4001 \
  -p 4002:4002 \
  -v llmgateway_postgres:/var/lib/postgresql/data \
  -v llmgateway_redis:/var/lib/redis \
  -e AUTH_SECRET="$LLM_GATEWAY_SECRET" \
  -e GATEWAY_API_KEY_HASH_SECRET="$GATEWAY_API_KEY_HASH_SECRET" \
  ghcr.io/theopenco/llmgateway-unified:latest

Development Setup

  1. Install dependencies and set up the development environment:
   pnpm i && pnpm run setup
   

This will install all dependencies, start Docker services, sync the database schema, and seed initial data.

Note for WSL2 users: Ensure Docker Desktop is running with WSL integration enabled.

  1. Start development servers:
   pnpm dev
   

3. Build for production:

   pnpm build
   

Using LLM Gateway API

curl -X POST https://api.llmgateway.io/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LLM_GATEWAY_API_KEY" \
  -d '{
  "model": "gpt-4o",
  "messages": [
    {"role": "user", "content": "Hello, how are you?"}
  ]
}'
🎯 aiskill88 AI 点评 A 级 2026-05-24

该工具提供了一个统一的LLM请求管理和分析平台,易于使用和扩展,但仍需要进一步优化和完善。

⚡ 核心功能
👥 适合人群
AI 技术爱好者研究人员和学生开发者和工程师技术创业者
🎯 使用场景
  • 本地部署运行,保护数据隐私,满足合规要求
  • 自定义集成到现有系统,扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
✅ 优点
  • +完全开源免费,无授权费用
  • +本地部署,数据完全自主可控
  • +开发者社区支持,遇问题可查可问
⚠️ 不足
  • 安装和初始配置可能需要一定技术基础
  • 功能完整性通常不如成熟商业产品
  • 技术支持主要依赖开源社区,响应速度不稳定
⚠️ 使用须知

该工具使用 NOASSERTION 协议,商用场景请仔细阅读协议条款,必要时咨询法律意见。

AI Skill Hub 为第三方内容聚合平台,本页面信息基于公开数据整理,不对工具功能和质量作任何法律背书。

建议在沙箱或测试环境中充分验证后,再部署至生产环境,并做好必要的安全评估。

📄 License 说明

📄 NOASSERTION — 请查阅原始协议条款了解具体使用限制。

🔗 相关工具推荐
🧩 你可能还需要
基于当前 Skill 的能力图谱,自动补全的工具组合
❓ 常见问题 FAQ
请参阅README文件
💡 AI Skill Hub 点评

AI Skill Hub 点评:LLM网关 的核心功能完整,质量良好。对于AI 技术爱好者来说,这是一个值得纳入个人工具库的选择。建议先在非生产环境试用,再逐步推广。

📚 深入学习 LLM网关
查看分步骤安装教程和完整使用指南,快速上手这款工具
🌐 原始信息
原始名称 llmgateway
Topics aiai-gatewayanalytics
GitHub https://github.com/theopenco/llmgateway
License NOASSERTION
语言 TypeScript
🔗 原始来源
🐙 GitHub 仓库  https://github.com/theopenco/llmgateway 🌐 官方网站  https://llmgateway.io

收录时间:2026-05-24 · 更新时间:2026-05-24 · License:NOASSERTION · AI Skill Hub 不对第三方内容的准确性作法律背书。