能力标签

🛠

AI工具

高性能LLM推理框架

基于 C++ · 开源免费，本地部署，数据完全自主可控

英文名：hxinfer

⭐ 30 Stars 💻 C++ 📄 未公布协议 🏷 AI 7.5分

7.5AI 综合评分

C++LLM推理框架

🔍 查看原项目

✦ AI Skill Hub 推荐

AI Skill Hub 推荐使用：高性能LLM推理框架是一款优质的AI工具。AI 综合评分 7.5 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。

📚 深度解析

高性能LLM推理框架是一款基于 C++ 的开源工具，在 GitHub 上收获 0k+ Star，是C++、LLM、推理框架领域中的优质开源项目。开源工具的最大优势在于代码完全透明，你可以审计每一行代码的安全性，也可以根据自身需求进行二次开发和定制。

**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。

**安装与环境准备**
高性能LLM推理框架依赖 C++ 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 C++ 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。

**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪高性能LLM推理框架的版本更新，及时通知重要功能变化。

📋 工具概览

hxinfer是基于C++的高性能LLM推理框架，提供高效的推理能力和灵活的定制选项，适合于各种AI应用场景。

高性能LLM推理框架是一款基于 C++ 开发的开源工具，专注于 C++、LLM、推理框架等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

GitHub Stars

⭐ 30

开发语言

C++

支持平台

Windows / macOS / Linux

维护状态

轻量级项目，按需更新

开源协议

未公布

AI 综合评分

7.5 分

工具类型

AI工具

Forks

—

📖 中文文档

以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

hxinfer是基于C++的高性能LLM推理框架，提供高效的推理能力和灵活的定制选项，适合于各种AI应用场景。

📌 核心特色

开源免费，支持本地部署，数据完全自主可控
活跃的 GitHub 开源社区，持续迭代更新
提供详细文档和使用示例，新手友好
支持自定义配置，灵活适配不同使用环境
可作为基础组件集成进现有技术栈或进行二次开发

🎯 主要使用场景

本地部署运行，保护数据隐私，满足合规要求
自定义集成到现有系统，扩展技术栈能力
作为开源基础组件进行商业化二次开发

以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。

安装命令

# 克隆仓库
git clone https://github.com/wuhangxian/hxinfer
cd hxinfer

# 查看安装说明
cat README.md

# 按 README 完成环境依赖安装后即可使用

📋 安装步骤说明

访问 GitHub 仓库页面
按照 README 文档完成依赖安装
根据系统环境完成初始化配置
参考官方示例或文档开始使用
遇到问题可在 GitHub Issues 中查找解答

以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。

常用命令 / 代码示例

# 查看帮助
hxinfer --help

# 基本运行
hxinfer [options] <input>

# 详细使用说明请查阅文档
# https://github.com/wuhangxian/hxinfer

以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。

配置示例

# hxinfer 配置说明
# 查看配置选项
hxinfer --config-example > config.yml

# 常见配置项
# output_dir: ./output
# log_level: info
# workers: 4

# 环境变量（覆盖配置文件）
export HXINFER_CONFIG="/path/to/config.yml"

📑 README 深度解析真实文档完整度 63/100 查看 GitHub 原文 →

以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

HXInfer - 从零构建的 C++/CUDA LLM 推理引擎

一个完全从零手写的 LLM 推理引擎，支持 LLaMA 架构模型在 CPU 和 NVIDIA GPU 上的高效推理。纯 C++/CUDA 实现，零第三方深度学习框架依赖。

支持的算子

算子	CPU	CUDA	说明
MatMul	✓	✓	矩阵乘法（CUDA 使用 cuBLAS）
Attention	✓	✓	多头注意力（含 KV Cache）
RoPE	✓	✓	旋转位置编码
RMSNorm	✓	✓	Root Mean Square 归一化
SiLU	✓	✓	Sigmoid Linear Unit 激活
SwiGLU	✓	✓	SiLU 门控线性单元
Softmax	✓	✓	带 safe-softmax（减最大值防溢出）
Embedding	✓	✓	Token 嵌入查表
Add	✓	✓	逐元素相加
Mul	✓	✓	逐元素相乘
ArgMax	✓	✓	概率最高 token 索引查找

设计亮点

环境要求

CMake >= 3.16
GCC 支持 C++17
CUDA Toolkit 12.1+（GPU 推理需要，推荐 SM 89 架构如 RTX 4090）

快速开始

运行

```bash

stories15M 演示模型（约 60MB）

Demos 目录

demos/ 下包含 24 个渐进式演示示例，记录了从"Hello World"到完整 LLaMA 推理的实现过程：

#	文件	内容
01	`cuda_hello_world.cu`	CUDA 入门
02	`allocator.cpp` / `allocator_test.cu`	内存分配器（CPU/CUDA）
03	`buffer.cpp`	Buffer 缓冲区抽象
04	`tensor.cpp`	Tensor 张量系统
05	`naive_layer.cpp` / `relulayer_retry1.cpp`	层抽象 & ReLU 层
06	`linear.cpp` / `linearlayer-retry1/2.cpp`	线性层
07	`embedding.cpp` / `embedding_retry1.cpp`	Embedding 层
08	`softmax_task.cpp`	Softmax 算子
09	`rmsnorm_task.cpp` / `rmsnorm_retry1.cpp`	RMSNorm 算子
10	`silu_task.cpp`	SiLU 激活算子
11	`mul_task.cpp`	逐元素乘法
12	`rope_task.cpp`	RoPE 位置编码
13	`matmul_task.cpp`	矩阵乘法
14	`add_task.cpp`	逐元素加法
15	`argmax_task.cpp`	ArgMax 算子
16	`swiglu_block.cpp`	SwiGLU FFN 模块
17	`naive_attention_block.cpp` / `retry1.cpp`	注意力模块
18	`llama_inference_front.cpp`	推理前端入口
19	`llama_infer.cpp` / `spilt1.cpp` / `bin_abstract_3.cpp`	LLaMA 推理主循环
20	`model_llama_infer.cpp`	完整模型推理
21	`silu_cuda_test.cu`	SiLU CUDA 精度测试
22	`matmul_cuda_test.cpp`	MatMul CUDA 测试
23	`addmul_cuda_test.cpp`	AddMul CUDA 测试
24	`silu_benchmark.cu`	SiLU 性能基准测试
—	`llama_infer_cpu_v1/v2.cpp`	CPU 推理优化版本
—	`demo_gpu_llama.cpp`	GPU 端到端推理
—	`demo_prefix_cache.cpp`	Prefix Cache 演示