📄 工具详情 ⚙️ 安装教程 📚 使用教程
能力标签
🤖 Agent🐳 Docker🧠 Claude✨ GPT🖥 本地 LLM
🛠
AI工具

快速LLM推理服务器

基于 C++ · 开源免费，本地部署，数据完全自主可控
英文名：lucebox
⭐ 2.6k Stars 🍴 249 Forks 💻 C++ 📄 Apache-2.0 🏷 AI 8.0分
8.0AI 综合评分
cudacuda-kernelsdflashkernelllama-cpp
🌐 访问官网 📺 TG 频道
✦ AI Skill Hub 推荐

AI Skill Hub 强烈推荐：快速LLM推理服务器 是一款优质的AI工具。已获得 2.6k 颗 GitHub Star，AI 综合评分 8.0 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。

📚 深度解析

快速LLM推理服务器 是一款基于 C++ 的开源工具，在 GitHub 上收获 3k+ Star，是cuda、cuda-kernels、dflash、kernel领域中的优质开源项目。开源工具的最大优势在于代码完全透明，你可以审计每一行代码的安全性，也可以根据自身需求进行二次开发和定制。

**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。

**安装与环境准备**
快速LLM推理服务器 依赖 C++ 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 C++ 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。

**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 快速LLM推理服务器 的版本更新，及时通知重要功能变化。

📋 工具概览

快速LLM推理服务器 是一款基于 C++ 开发的开源工具，专注于 cuda、cuda-kernels、dflash 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

GitHub Stars
⭐ 2.6k
开发语言
C++
支持平台
Windows / macOS / Linux
维护状态
持续维护，定期更新
开源协议
Apache-2.0
AI 综合评分
8.0 分
工具类型
AI工具
Forks
249

📖 中文文档

以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

快速LLM推理服务器 是一款基于 C++ 开发的开源工具，专注于 cuda、cuda-kernels、dflash 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

📌 核心特色
  • 开源免费，支持本地部署，数据完全自主可控
  • 活跃的 GitHub 开源社区，持续迭代更新
  • 提供详细文档和使用示例，新手友好
  • 支持自定义配置，灵活适配不同使用环境
  • 可作为基础组件集成进现有技术栈或进行二次开发
🎯 主要使用场景
  • 本地部署运行，保护数据隐私，满足合规要求
  • 自定义集成到现有系统，扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发
以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。
安装命令
# 克隆仓库
git clone https://github.com/Luce-Org/lucebox
cd lucebox

# 查看安装说明
cat README.md

# 按 README 完成环境依赖安装后即可使用
📋 安装步骤说明
  1. 访问 GitHub 仓库页面
  2. 按照 README 文档完成依赖安装
  3. 根据系统环境完成初始化配置
  4. 参考官方示例或文档开始使用
  5. 遇到问题可在 GitHub Issues 中查找解答
以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。
常用命令 / 代码示例
# 查看帮助
lucebox --help

# 基本运行
lucebox [options] <input>

# 详细使用说明请查阅文档
# https://github.com/Luce-Org/lucebox
以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。
配置示例
# lucebox 配置说明
# 查看配置选项
lucebox --config-example > config.yml

# 常见配置项
# output_dir: ./output
# log_level: info
# workers: 4

# 环境变量（覆盖配置文件）
export LUCEBOX_CONFIG="/path/to/config.yml"
📑 README 深度解析 真实文档 完整度 40/100 查看 GitHub 原文 →
以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

简介

<p align="center"> <img src="assets/banner.png" alt="Lucebox" width="85%"> </p>

<p align="center"> <a href="https://lucebox.com"><img src="https://img.shields.io/badge/lucebox.com-f5c842?style=for-the-badge&logo=safari&logoColor=f5c842&labelColor=090909" alt="lucebox.com"></a> <a href="https://huggingface.co/Lucebox"><img src="https://img.shields.io/badge/HuggingFace-f5c842?style=for-the-badge&logo=huggingface&logoColor=f5c842&labelColor=090909" alt="HuggingFace"></a> <a href="https://discord.gg/yHfswqZmJQ"><img src="https://img.shields.io/badge/Discord-f5c842?style=for-the-badge&logo=discord&logoColor=f5c842&labelColor=090909" alt="Discord"></a> <a href="https://lucebox.com/blog"><img src="https://img.shields.io/badge/Blog-f5c842?style=for-the-badge&logo=rss&logoColor=f5c842&labelColor=090909" alt="Blog"></a> <a href="#tutorials"><img src="https://img.shields.io/badge/Tutorials-f5c842?style=for-the-badge&logo=youtube&logoColor=f5c842&labelColor=090909" alt="Tutorials"></a> </p>

<p align="center"> <a href="LICENSE"><img src="https://img.shields.io/badge/License-Apache_2.0-e8e8ed?style=for-the-badge&labelColor=090909" alt="Apache 2.0"></a> <a href="https://developer.nvidia.com/cuda-toolkit"><img src="https://img.shields.io/badge/CUDA-12%2B-76b900?style=for-the-badge&logo=nvidia&logoColor=76b900&labelColor=090909" alt="CUDA 12+"></a> <a href="https://rocm.docs.amd.com/projects/HIP/en/latest/"><img src="https://img.shields.io/badge/HIP-7%2B-ed1c24?style=for-the-badge&logo=amd&logoColor=ed1c24&labelColor=090909" alt="HIP 7+"></a> <a href="https://isocpp.org"><img src="https://img.shields.io/badge/C%2B%2B-17-e8e8ed?style=for-the-badge&logo=cplusplus&logoColor=e8e8ed&labelColor=090909" alt="C++17"></a> </p>

<p align="center"> <strong>Local LLM inference server built for speed. Custom kernels, speculative prefill & decoding.</strong><br/> Each optimization in our engine is for specific model family and hardware target. </p>

---

Quick Start With Docker

Prebuilt images on GHCR track main. No CUDA toolkit or build needed. Pull the image, mount weights and serve. OpenAI-compatible API on :8000.

GPUImage tag
NVIDIA (CUDA 12+):cuda12
AMD (ROCm 6+):rocm

Drop a GGUF model target into server/models/ first, then :8000/v1/chat/completions. Full tutorial in the Docker blog.

</td> <td width="62%" valign="middle">

<a href="https://lucebox.com/blog/docker"><img src="assets/docker.png" alt="Lucebox prebuilt Docker images for NVIDIA and AMD" width="100%" /></a>

</td> </tr> </table>

Install and run:

```bash

build (CUDA 12+, CMake 3.18+)

git clone --recurse-submodules https://github.com/Luce-Org/lucebox-hub && cd lucebox-hub cmake -B server/build -S server -DCMAKE_BUILD_TYPE=Release cmake --build server/build --target dflash_server -j

Quick Start On Harnesses

harness/ contains RTX 3090 client launchers and regression tests for Lucebox server compatibility. Run Lucebox inside Claude Code, Codex, OpenCode, Hermes, Pi, OpenClaw, or Open WebUI, or check if a server change still works with those clients.

<a href="harness/"><img src="harness/assets/hero.png" alt="Lucebox client harness experiments on RTX 3090" width="100%" /></a>

</td> <td width="50%" valign="middle">

ClientLauncher
Claude Code[run_claude_code.sh](harness/clients/run_claude_code.sh)
Codex[run_codex.sh](harness/clients/run_codex.sh)
OpenCode[run_opencode.sh](harness/clients/run_opencode.sh)
Hermes[run_hermes.sh](harness/clients/run_hermes.sh)
Pi[run_pi.sh](harness/clients/run_pi.sh)
OpenClaw[run_openclaw.sh](harness/clients/run_openclaw.sh)
Open WebUI[run_openwebui.sh](harness/clients/run_openwebui.sh)

</td> </tr> </table>

All launchers spawn the native C++ HTTP server (dflash_server). Override defaults via env vars:

DFLASH_SERVER_BIN=server/build/dflash_server \
DFLASH_TARGET=server/models/Qwen3.6-27B-Q4_K_M.gguf \
DFLASH_DRAFT=server/models/draft/dflash-draft-3.6-q4_k_m.gguf \
MAX_CTX=32768 BUDGET=22 VERIFY_MODE=ddtree \
harness/clients/run_codex.sh

For no-draft targets such as Gemma, set only DFLASH_TARGET or pass DRAFT=none; the harness will not attach the default Qwen draft to a custom target.

Launcher scripts install missing real-client CLIs automatically under .harness-work/. To preinstall them yourself:

python3 harness/client_test_runner.py install --clients codex,hermes,openwebui

For direct TPS/TTFT numbers against a running server:

python3 harness/client_test_runner.py bench \
  --url http://127.0.0.1:8000 \
  --suite he,agent \
  --n-sample 3

Tutorials

Video tutorials for each optimization and the harness setup.

**Luce Spark**<br>[▶ YouTube](https://www.youtube.com/watch?v=LB1aVj9lNhg)**Luce DFlash**<br>[▶ YouTube](https://www.youtube.com/watch?v=vbPGvvSB8IQ)**Luce Turboquant**<br>[▶ YouTube](https://www.youtube.com/watch?v=uTOOrfhrnBk)
**Luce Harness setup**<br>[▶ YouTube](https://www.youtube.com/watch?v=PysoxVGfvRE)**Luce PFlash**<br>[▶ YouTube](https://www.youtube.com/watch?v=NWeKUL9Bc6Y)**Luce Megakernel**<br>[▶ YouTube](https://www.youtube.com/watch?v=e6jY4goVIu0)
**Luce KVFlash**<br>[▶ YouTube](https://www.youtube.com/watch?v=8rTVCRWvRDo)

---

Supported Models & Drafters

All speedups measured vs vendored llama.cpp (-fa 1, matching KV quant). Combined = geometric mean √(TTFT × decode) where both phases benched; otherwise the single-phase speedup. Drafters published on huggingface.co/Lucebox.

ModelSpeedup
Qwen 3.5-0.8B (Megakernel)**~2×**
Qwen 3.6-27B + PFlash**~5.6×**
Qwen 3.6-27B + DDTree**4.84×**
Laguna-XS-2.1 33B + PFlash**8.2×** @256K
Laguna-XS-2.1 33B + DFlash**1.7×** @256K
Qwen 3.6-27B HIP**~2.6×**
Gemma-4-26B-A4B**1.31×**

</td> <td valign="top">

DrafterPhase
[Qwen3.6-27B](https://huggingface.co/Lucebox/Qwen3.6-27B-DFlash-GGUF)decode
[gemma-4-26B-A4B](https://huggingface.co/Lucebox/gemma-4-26B-A4B-it-DFlash-GGUF)decode
[gemma-4-31B](https://huggingface.co/Lucebox/gemma-4-31B-it-DFlash-GGUF)decode
[Qwen3-0.6B](https://huggingface.co/Qwen/Qwen3-0.6B)prefill

</td> </tr> </table>

🎯 aiskill88 AI 点评 A 级 2026-07-11

快速LLM推理服务器，适用于消费级硬件，性能优异

⚡ 核心功能

  • 开源免费，支持本地部署，数据完全自主可控
  • 活跃的 GitHub 开源社区，持续迭代更新
  • 提供详细文档和使用示例，新手友好
  • 支持自定义配置，灵活适配不同使用环境
  • 可作为基础组件集成进现有技术栈或进行二次开发

👥 适合人群

AI 技术爱好者研究人员和学生开发者和工程师技术创业者

🎯 使用场景

  • 本地部署运行，保护数据隐私，满足合规要求
  • 自定义集成到现有系统，扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发

⚖️ 优点与不足

✅ 优点
  • +Apache-2.0 协议，可免费商用
  • +完全开源免费，无授权费用
  • +本地部署，数据完全自主可控
  • +开发者社区支持，遇问题可查可问
⚠️ 不足
  • −安装和初始配置可能需要一定技术基础
  • −功能完整性通常不如成熟商业产品
  • −技术支持主要依赖开源社区，响应速度不稳定
⚠️ 使用须知

AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。

建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。

📄 License 说明

✅ Apache 2.0 — 宽松开源协议，可商用，需保留版权声明和 NOTICE 文件，含专利授权条款。

🔗 相关工具推荐

transformers AI技能包
Hugging Face开源的深度学习框架，提供预训练语言模型、视觉模型和多模态模型。集成BERT、GPT、Llama等
ComfyUI 节点式AI图像生成
强大的开源扩散模型可视化工具，提供图形界面、API和后端服务。采用节点图式设计，支持模块化工作流构建，适合AI绘图、图像
llama-cpp AI技能包
高效的大语言模型C/C++推理框架，支持在本地CPU/GPU上运行量化LLM模型，具有内存占用小、推理速度快的特点。适合
yt-dlp 视频下载
功能强大的开源视频下载工具，支持YouTube、TikTok等数千个视频平台，可自动下载视频、字幕、封面和元数据。适合内
🧩 你可能还需要
基于当前 Skill 的能力图谱，自动补全的工具组合
技能寻求者
MCP · Agent · 工作流
Synthadoc
MCP · Agent · 工作流
DeepCode Agent工作流
MCP · Agent · 工作流
LEANN AI技能包
MCP · Agent · 工作流
total-agent-memory MCP工具
为Claude Code和Codex CLI提供持久化记忆功能的开源MCP工具。自动提取知识图谱，支持多轮对话上下文保留，适合需要长期记忆和
natively-cluely-ai-assistant — Claude Skill 中文使用文档
免费开源的AI面试助手，实时转录，隐蔽模式，局部RAG，BYOK。无订阅，防止数据泄露。

❓ 常见问题 FAQ

使用cuda和cuda-kernels加速
💡 AI Skill Hub 点评

总体来看，快速LLM推理服务器 是一款质量优秀的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。

📚 深入学习 快速LLM推理服务器
查看分步骤安装教程和完整使用指南，快速上手这款工具
⚙️ 安装教程 📚 使用教程
🌐 原始信息
原始名称 lucebox
Topics cudacuda-kernelsdflashkernelllama-cpp
GitHub https://github.com/Luce-Org/lucebox
License Apache-2.0
语言 C++
🔗 原始来源
🐙 GitHub 仓库  https://github.com/Luce-Org/lucebox 🌐 官方网站  https://www.lucebox.com

收录时间：2026-07-11 · 更新时间：2026-07-11 · License：Apache-2.0 · AI Skill Hub 不对第三方内容的准确性作法律背书。