能力标签

🔌 MCP 🤖 Agent 🔄 工作流 🐳 Docker 🔗 REST API 🧠 Claude ✨ GPT 🖥 本地 LLM

🔌

MCP工具

本地LLM服务器

基于 Python · 让 AI 助手直接操作你的系统与工具

英文名：local-llm-server

⭐ 4 Stars 💻 Python 📄 未公布协议 🏷 AI 8.0分

8.0AI 综合评分

aimcpautonomous

⚙️ 配置说明 🔍 查看原项目

✦ AI Skill Hub 推荐

经 AI Skill Hub 精选评估，本地LLM服务器获评「强烈推荐」。这款MCP工具在功能完整性、社区活跃度和易用性方面表现出色，AI 评分 8.0 分，适合有一定技术背景的用户使用。

📚 深度解析

本地LLM服务器是一款基于 MCP（Model Context Protocol）标准协议的 AI 工具扩展。MCP 协议由 Anthropic 开发并开源，旨在建立 AI 模型与外部工具之间的标准化通信接口，目前已被 Claude Desktop、Claude Code、Cursor 等主流 AI 工具采纳。

通过安装本地LLM服务器，你的 AI 助手将获得额外的工具调用能力，可以用自然语言直接操控该工具的功能，无需学习复杂的命令行语法。MCP 工具的核心价值在于"一次配置，永久增强"——配置完成后，每次与 AI 对话时都可以无缝调用这些工具。

在技术实现上，MCP 工具通过标准的 JSON-RPC 协议与 AI 客户端通信，工具的功能以"工具列表"的形式暴露给 AI 模型，AI 可以按需调用。本地LLM服务器提供了结构化的工具调用接口，使 AI 模型能够精确地理解和使用每个功能点，显著降低 AI 在工具使用上的错误率。

与传统的 API 集成相比，MCP 工具的优势在于无需编写代码——用户只需在配置文件中添加几行 JSON，即可让 AI 获得全新能力。AI Skill Hub 将本地LLM服务器评为 AI 评分 8.0 分，属于同类工具中的优质选择。

📋 工具概览

本地LLM服务器是一款遵循 MCP（Model Context Protocol）标准协议的 AI 工具扩展。通过 MCP 协议，它可以让 Claude、Cursor 等主流 AI 客户端直接访问和操作外部工具、数据源和服务，实现 AI 能力的无缝扩展。无论是文件操作、数据库查询还是 API 调用，都可以通过自然语言在 AI 对话中直接触发，极大提升生产效率。

GitHub Stars

⭐ 4

开发语言

Python

支持平台

Windows / macOS / Linux

维护状态

轻量级项目，按需更新

开源协议

未公布

AI 综合评分

8.0 分

工具类型

MCP工具

Forks

—

📖 中文文档

以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

📌 核心特色

通过标准 MCP 协议与 Claude、Cursor 等主流 AI 客户端深度集成
提供结构化工具调用接口，显著降低 AI 集成复杂度
支持 Claude Desktop 和 Claude Code 无缝接入，开箱即用
可与其他 MCP 工具组合叠加，构建完整 AI 工作站
轻量无侵入设计，不影响现有系统架构

🎯 主要使用场景

在 Claude Desktop 对话中直接调用本地工具，实现 AI 与系统的深度联动
通过自然语言驱动复杂的多步骤自动化任务，代替繁琐手动操作
将多个 MCP 工具组合使用，构建个人专属 AI 工作站

以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。

安装命令

# 方式一：通过 Claude Code CLI 一键安装
claude skill install https://github.com/strikersam/local-llm-server

# 方式二：手动配置 claude_desktop_config.json
{
  "mcpServers": {
    "--llm---": {
      "command": "npx",
      "args": ["-y", "local-llm-server"]
    }
  }
}

# 配置文件位置
# macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
# Windows: %APPDATA%/Claude/claude_desktop_config.json

📋 安装步骤说明

确认已安装 Node.js（v18 或以上版本）
打开 Claude Desktop 或 Claude Code 的 MCP 配置文件
按「交给 Agent 安装 → Claude Desktop」标签中的 JSON 配置填入 mcpServers 字段
保存配置文件并重启 Claude 客户端
重启后，在对话中即可使用本工具

以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。

常用命令 / 代码示例

# 安装后在 Claude 对话中直接使用
# 示例：
用户: 请帮我用 本地LLM服务器 执行以下任务...
Claude: [自动调用 本地LLM服务器 MCP 工具处理请求]

# 查看可用工具列表
# 在 Claude 中输入："列出所有可用的 MCP 工具"

以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。

配置示例

// claude_desktop_config.json 配置示例
{
  "mcpServers": {
    "__llm___": {
      "command": "npx",
      "args": ["-y", "local-llm-server"],
      "env": {
        // "API_KEY": "your-api-key-here"
      }
    }
  }
}

// 保存后重启 Claude Desktop 生效

📑 README 深度解析真实文档完整度 62/100 查看 GitHub 原文 →

以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

简介

Prerequisites

Python 3.13+
Ollama with at least one model — or a free Nvidia NIM API key (no local GPU needed)
Node 20+ (for the web UI)
MongoDB — or set STORAGE_BACKEND=sqlite to skip it entirely

🧙 Setup Wizard

The wizard helps you choose providers, models, runtimes, a default agent, and a cost policy.

1. Clone and install

git clone https://github.com/strikersam/local-llm-server.git
cd local-llm-server
python -m venv .venv && source .venv/bin/activate
pip install -r backend/requirements.txt

Cloud deployment (Render + GitHub Pages)

Push to master — GitHub Actions does the rest automatically:

CI: Python 3.13 tests, frontend build, lint, SAST, secret scan, CVE audit
Backend: Docker build → Render deploy hook → health check
Frontend: React build → GitHub Pages

Required repository secrets:

Secret	Where to get it
`RENDER_DEPLOY_HOOK_URL`	Render dashboard → service → Settings → Deploy Hook
`RENDER_BACKEND_URL`	Your Render service URL (e.g. `https://my-service.onrender.com`)

Live demo: - Frontend: https://strikersam.github.io/local-llm-server/ - Backend API: https://local-llm-server.onrender.com/docs

Render free tier note: the backend sleeps after 15 minutes of inactivity and takes ~30 s to wake. Upgrade to Starter ($7/mo) to eliminate cold starts in production.

---

Quickstart

ADMIN_EMAIL=you@example.com

🧭 Settings and guardrails

Central settings keep defaults, policies, and integrations in one place instead of scattered config files.

2. Configure

```bash cp .env.example .env

Configuration reference

Variable	Default	Description
`SECRET_KEY`	(required)	JWT signing key — `openssl rand -hex 32`
`STORAGE_BACKEND`	`mongo`	Set to `sqlite` for zero-dependency storage
`MONGO_URL`	`mongodb://localhost:27017`	MongoDB connection string
`OLLAMA_BASE_URL`	`http://localhost:11434`	Local Ollama server
`LLM_PROVIDER`	`ollama`	`ollama` · `nvidia-nim` · `deepseek` · `bedrock` · `anthropic`
`NVIDIA_API_KEY`	(optional)	Nvidia NIM free-tier models — no local GPU required
`AWS_ACCESS_KEY_ID` + `AWS_SECRET_ACCESS_KEY`	(optional)	AWS Bedrock (Claude Opus, Titan)
`ANTHROPIC_API_KEY`	(optional)	Direct Anthropic API
`DEEPSEEK_API_KEY`	(optional)	DeepSeek cloud API
`GITHUB_TOKEN`	(optional)	Required for agents that open PRs, review code, or read issues
`LANGFUSE_HOST` + `_PUBLIC_KEY` + `_SECRET_KEY`	(optional)	Observability traces
`TELEGRAM_BOT_TOKEN`	(optional)	Remote control via Telegram
`ADMIN_EMAIL` + `ADMIN_PASSWORD`	(optional)	First admin — created on first boot
`RUNTIME_DOCKER_ENABLED`	`false`	Enable Docker agent runtime
`RUNTIME_OPENHANDS_ENABLED`	`false`	Enable OpenHands runtime
`RUNTIME_AIDER_ENABLED`	`false`	Enable Aider runtime