server-nexe AI技能包
AI Skill Hub 强烈推荐：server-nexe AI技能包 是一款优质的AI工具。AI 综合评分 8.0 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。
📚 深度解析
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
server-nexe AI技能包 依赖 Python 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Python 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 server-nexe AI技能包 的版本更新，及时通知重要功能变化。
📋 工具概览
支持持久内存、RAG和多后端推理的本地AI服务器
server-nexe AI技能包 是一款基于 Python 开发的开源工具，专注于 ai、apple-silicon、embeddings 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
📖 中文文档
支持持久内存、RAG和多后端推理的本地AI服务器
server-nexe AI技能包 是一款基于 Python 开发的开源工具，专注于 ai、apple-silicon、embeddings 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 方式一：pip 安装（推荐）
pip install server-nexe
# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install server-nexe
# 方式三：从源码安装（获取最新功能）
git clone https://github.com/jgoy-labs/server-nexe
cd server-nexe
pip install -e .
# 验证安装
python -c "import server_nexe; print('安装成功')"
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 命令行使用
server-nexe --help
# 基本用法
server-nexe input_file -o output_file
# Python 代码中调用
import server_nexe
# 示例
result = server_nexe.process("input")
print(result)
# server-nexe 配置文件示例（config.yml） app: name: "server-nexe" debug: false log_level: "INFO" # 运行时指定配置文件 server-nexe --config config.yml # 或通过环境变量配置 export SERVER_NEXE_API_KEY="your-key" export SERVER_NEXE_OUTPUT_DIR="./output"
简介
<p align="center"> <img src=".github/logo.svg" alt="server.nexe" width="400"> </p>
<p align="center"> <strong>Local AI server with persistent memory. Zero cloud. Full control.</strong> </p>
<p align="center"> <em>I've reached the minimum viable product for the real world — but feedback is still missing. 🚀</em> </p>
<p align="center"> <a href="https://github.com/jgoy-labs/server-nexe/actions/workflows/ci.yml"><img src="https://github.com/jgoy-labs/server-nexe/actions/workflows/ci.yml/badge.svg" alt="CI"></a> <img src=".github/badges/coverage.svg" alt="Coverage"> <a href="LICENSE"><img src="https://img.shields.io/badge/license-Apache%202.0-blue" alt="License"></a> <a href="https://www.python.org"><img src="https://img.shields.io/badge/python-3.11%2B-blue?logo=python&logoColor=white" alt="Python"></a> <a href="https://fastapi.tiangolo.com"><img src="https://img.shields.io/badge/FastAPI-0.136-009688?logo=fastapi&logoColor=white" alt="FastAPI"></a> <a href="https://v2.tauri.app"><img src="https://img.shields.io/badge/Tauri%20v2-desktop%20app-FFC131?logo=tauri&logoColor=white" alt="Tauri v2"></a> </p>
<p align="center"> <a href="https://qdrant.tech"><img src="https://img.shields.io/badge/Qdrant-vector--db-dc244c?logo=qdrant&logoColor=white" alt="Qdrant"></a> <a href="https://github.com/ml-explore/mlx"><img src="https://img.shields.io/badge/MLX-Apple%20Silicon-000000?logo=apple&logoColor=white" alt="MLX"></a> <a href="https://ollama.com"><img src="https://img.shields.io/badge/Ollama-compatible-black?logo=ollama&logoColor=white" alt="Ollama"></a> <a href="https://github.com/ggerganov/llama.cpp"><img src="https://img.shields.io/badge/llama.cpp-GGUF-8B5CF6" alt="llama.cpp"></a> <a href="https://github.com/jgoy-labs/server-nexe"><img src="https://img.shields.io/badge/RAG-local%20%7C%20private-22c55e" alt="RAG"></a> <a href="https://github.com/sponsors/jgoy-labs"><img src="https://img.shields.io/badge/sponsor-♥-ea4aaa?logo=github-sponsors&logoColor=white" alt="Sponsor"></a> </p>
<p align="center"> <a href="https://server-nexe.org"><strong>Documentation</strong></a> · <a href="#-quick-start"><strong>Install</strong></a> · <a href="#-architecture"><strong>Architecture</strong></a> · <a href="https://github.com/jgoy-labs/server-nexe/releases"><strong>Releases</strong></a> </p>
<p align="center"> <a href="README-ca.md"><strong>Català</strong></a> · <a href="README-es.md"><strong>Español</strong></a> </p>
---
v1.0.6 — Security hardening. Server Nexe now ships as a Tauri v2 desktop application with onboarding wizard, system tray, and automatic sidecar management. Available as macOS DMG (Apple Silicon) and Linux AppImage (ARM64). See Releases. Linux note: tested on Ubuntu 24.04 ARM64 virtual machines (UTM). CPU inference (Ollama) verified. If you test on native hardware or with GPU acceleration, please open an issue with your results.
---
Requirements
| Minimum | Recommended | |
|---|---|---|
| **OS** | macOS 14 Sonoma (Apple Silicon only) | macOS 14+ (Apple Silicon) |
| **CPU** | Apple Silicon M1 | Apple Silicon M2 / M3 / M4 |
| **Python** | 3.11+ | 3.12+ |
| **RAM** | 8 GB | 16 GB+ (for larger models) |
| **Disk** | 10 GB free | 20 GB+ free |
Intel Macs and macOS 13 Ventura are no longer supported. Apple Silicon only (arm64). Linux: Supported with the Ollama backend (CPU). Tested on Ubuntu 24.04 ARM64 VM. Native hardware validation on the roadmap.
Integration tests (requires Ollama running)
NEXE_AUTOSTART_OLLAMA=true pytest -m "integration" -q ```
Quick Start
Screenshots
Web UI — light mode |
Web UI — dark mode |
Option A: Desktop App (macOS / Linux)
Download the latest package from Releases:
| Platform | Package | Size |
|---|---|---|
| macOS (Apple Silicon) | nexe-app_1.0.6_aarch64.dmg | ~1.3 GB |
| Linux (ARM64) | nexe-app_1.0.6_aarch64.AppImage | ~1.2 GB |
The onboarding wizard handles everything: hardware detection, backend selection, model download, and configuration. The app runs server-nexe as a sidecar process with system tray integration.
Option B: Command Line
git clone https://github.com/jgoy-labs/server-nexe.git
cd server-nexe
./setup.sh # guided installation (detects hardware, picks backend & model)
nexe go # start server on port 9119Once running:
nexe chat # interactive chat (RAG memory on by default)
nexe memory store "Barcelona is the capital of Catalonia"
nexe memory recall "capital Catalonia"
nexe status # system statusOption C: Headless (servers, scripts, CI)
python -m installer.install_headless --backend ollama --model qwen3.5:latest
nexe goEndpoints at http://localhost:9119:
| Endpoint | Description |
|---|---|
/v1/chat/completions | OpenAI-compatible chat API |
/ui | Web UI (chat, file upload, sessions) |
/health | Health check |
/docs | Interactive API documentation (Swagger) |
Authentication viaX-API-Keyheader. Key is generated during installation and stored in.env.
Modular Plugin System
Auto-discovered plugins with independent manifests. Security, web UI, RAG, backends — everything is a plugin. Add capabilities without touching the core. NexeModule protocol with duck typing, no inheritance.
</td> <td width="50%">
Request processing pipeline
X-API-Key] B --> C[Rate Limit
slowapi] C --> D[validate_string_input
context parameter] D --> E[RAG Recall
3 collections] E --> F[_sanitize_rag_context
injection filter] F --> G[LLM Inference
MLX/Ollama/llama.cpp] G --> H[Stream Response
SSE markers] H --> I[MEM_SAVE Parsing
fact extraction] I --> J[Response
to client]
Plugin System
Server Nexe uses a duck typing protocol (NexeModule Protocol) — no class inheritance, no BasePlugin. Each plugin is a directory under plugins/ with a manifest.toml and a module.py.
5 active plugins:
| Plugin | Type | Key features |
|---|---|---|
| **mlx_module** | LLM Backend | Apple Silicon native, prefix caching (trie), Metal GPU |
| **llama_cpp_module** | LLM Backend | Universal GGUF, LRU ModelPool, CPU/GPU |
| **ollama_module** | LLM Backend | HTTP bridge to Ollama, auto-start, VRAM cleanup |
| **security** | Core | Dual-key auth, 6 injection detectors + NFKC, 47 jailbreak patterns, rate limiting, RFC5424 audit logging |
| **web_ui_module** | Interface | Web chat, sessions, document upload, MEM_SAVE, RAG sanitization, i18n |
高性能本地AI服务器，支持多种后端推理
- 构建企业知识库 / RAG 检索应用的团队
- 跨境业务、多语言内容运营团队
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- 分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- embedding 模型与查询模型不一致导致检索失效
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- Python 依赖冲突：建议用 venv / uv 隔离环境
- CLI：直接 npm install -g / pip install，命令行调用
- 本地部署：CPU 8GB 起，GPU 推荐 16GB+ 显存
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 构建企业知识库 / RAG 检索应用的团队
- 跨境业务、多语言内容运营团队
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- 分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- embedding 模型与查询模型不一致导致检索失效
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- Python 依赖冲突：建议用 venv / uv 隔离环境
👥 适合人群
🎯 使用场景
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
该工具使用 NOASSERTION 协议，商用场景请仔细阅读协议条款，必要时咨询法律意见。
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
📄 NOASSERTION — 请查阅原始协议条款了解具体使用限制。
🔗 相关工具推荐
❓ 常见问题 FAQ
总体来看，server-nexe AI技能包 是一款质量优秀的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | server-nexe |
| 原始描述 | 开源AI工具：Local AI server with persistent memory, RAG, and multi-backend inference (MLX / 。⭐9 · Python |
| Topics | aiapple-siliconembeddingsfastapillama-cpppython |
| GitHub | https://github.com/jgoy-labs/server-nexe |
| License | NOASSERTION |
| 语言 | Python |
收录时间：2026-05-16 · 更新时间：2026-05-30 · License：NOASSERTION · AI Skill Hub 不对第三方内容的准确性作法律背书。