📄 工具详情 ⚙️ 安装教程 📚 使用教程
🛠
AI工具

vLLM-Rust轻量版

基于 Rust · 开源免费，本地部署，数据完全自主可控
英文名：vllm-rs
⭐ 208 Stars 🍴 28 Forks 💻 Rust 📄 MIT 🏷 AI 7.2分
7.2AI 综合评分
RustLLM推理vLLM高性能工作流
✦ AI Skill Hub 推荐

AI Skill Hub 推荐使用：vLLM-Rust轻量版 是一款优质的AI工具。AI 综合评分 7.2 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。

📚 深度解析
vLLM-Rust轻量版 是一款基于 Rust 的开源工具，在 GitHub 上收获 0k+ Star，是Rust、LLM推理、vLLM、高性能领域中的优质开源项目。开源工具的最大优势在于代码完全透明，你可以审计每一行代码的安全性，也可以根据自身需求进行二次开发和定制。

**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。

**安装与环境准备**
vLLM-Rust轻量版 依赖 Rust 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Rust 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。

**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 vLLM-Rust轻量版 的版本更新，及时通知重要功能变化。
📋 工具概览

用Rust语言实现的极简vLLM引擎，专注于大语言模型推理优化。支持多种LLM模型（如Qwen），具有高性能、低内存占用的特点。适合对性能要求高的开发者和想要深入理解LLM推理机制的研究人员。

vLLM-Rust轻量版 是一款基于 Rust 开发的开源工具，专注于 Rust、LLM推理、vLLM 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

GitHub Stars
⭐ 208
开发语言
Rust
支持平台
Windows / macOS / Linux
维护状态
轻量级项目，按需更新
开源协议
MIT
AI 综合评分
7.2 分
工具类型
AI工具
Forks
28
📖 中文文档
以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

用Rust语言实现的极简vLLM引擎，专注于大语言模型推理优化。支持多种LLM模型（如Qwen），具有高性能、低内存占用的特点。适合对性能要求高的开发者和想要深入理解LLM推理机制的研究人员。

vLLM-Rust轻量版 是一款基于 Rust 开发的开源工具，专注于 Rust、LLM推理、vLLM 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

📌 核心特色
  • 开源免费，支持本地部署，数据完全自主可控
  • 活跃的 GitHub 开源社区，持续迭代更新
  • 提供详细文档和使用示例，新手友好
  • 支持自定义配置，灵活适配不同使用环境
  • 可作为基础组件集成进现有技术栈或进行二次开发
🎯 主要使用场景
  • 本地部署运行，保护数据隐私，满足合规要求
  • 自定义集成到现有系统，扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发
以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。
安装命令
# 方式一：cargo install（推荐）
cargo install vllm.rs

# 方式二：从源码编译
git clone https://github.com/guoqingbao/vllm.rs
cd vllm.rs
cargo build --release
# 二进制在 ./target/release/vllm.rs
📋 安装步骤说明
  1. 访问 GitHub 仓库页面
  2. 按照 README 文档完成依赖安装
  3. 根据系统环境完成初始化配置
  4. 参考官方示例或文档开始使用
  5. 遇到问题可在 GitHub Issues 中查找解答
以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。
常用命令 / 代码示例
# 查看帮助
vllm.rs --help

# 基本运行
vllm.rs [options] <input>

# 详细使用说明请查阅文档
# https://github.com/guoqingbao/vllm.rs
以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。
配置示例
# vllm.rs 配置说明
# 查看配置选项
vllm.rs --config-example > config.yml

# 常见配置项
# output_dir: ./output
# log_level: info
# workers: 4

# 环境变量（覆盖配置文件）
export VLLM.RS_CONFIG="/path/to/config.yml"
📑 README 深度解析 真实文档 完整度 80/100 查看 GitHub 原文 →
以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

🚀 vLLM.rs

Blazing-fast LLM inference in pure Rust. No PyTorch. No Python runtime. Just fast, portable, production-ready inference.

<p align="center"> <a href="./ReadMe.md">English</a> | <a href="./ReadMe-CN.md">简体中文</a> </p>

---

Prerequisites: Rust compiler, CUDA Toolkit (optional) or Metal XCode commandline tool

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh sudo apt-get install -y git build-essential libssl-dev pkg-config

Prerequisites

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh sudo apt-get install -y git build-essential libssl-dev pkg-config

Repo for install

export VLLM_RS_REPO="https://github.com/guoqingbao/vllm.rs"

1. Install (one-time, replace features to `metal` on Mac, remove `flashinfer` and `cutlass` features on SM_70/SM_75, e.g., V100)

cargo install --git $VLLM_RS_REPO vllm-rs --features cuda,nccl,flashinfer,cutlass

or, git clone and install from local source code

./build.sh --install --features cuda,nccl,flashinfer,cutlass

Option B — 📦 Python (`pip install`)

- 💡Turing/V100 (SM70/SM75), Hopper (SM90) / Blackwell (SM100+): download wheel from GitHub Releases; ```bash

Option C — Install with Docker

- 💡Change sm_xx to sm_70/sm_75 (Turing/V100, remove flashinfer and cutlass features), sm_80/sm_89 (Ampere), sm_90 (Hopper), sm_100/sm_120 (Blackwell) ```bash

Installation

<details> <summary><b>CUDA (Linux)</b></summary>

```bash

Build & install

./build.sh --install --features cuda,nccl,flashinfer,cutlass

Install Xcode command-line tools first

cargo install --features metal 


</details>

<details>
<summary><b>Docker</b></summary>
bash

Install

pip install target/wheels/vllm_rs-*.whl --force-reinstall ```

</details>

---

Quick Start

Example: Hopper (SM_90, CUDA 13.0.0), append extra argument 1 for rust crate mirror (Chinese Mainland)

./build_docker.sh "cuda,nccl,flashinfer,cutlass" sm_90 13.0.0 ```

See Docker guide →

---

📘 Usage (Rust)

📘 Usage (Python)

📽️ Demo

<video src="https://github.com/user-attachments/assets/7fc6aa0b-78ac-4323-923f-d761dd12857f" width="1000px"></video>

---

Optional: CUDA toolkit + NCCL

sudo apt-get install -y cuda-nvcc-12-9 cuda-nvrtc-dev-12-9 libcublas-dev-12-9 libcurand-dev-12-9 sudo apt-get install -y libnccl2 libnccl-dev

Interactive CLI chat

vllm-rs --i --m unsloth/Qwen3.5-27B-GGUF --f Qwen3.5-27B-Q4_K_M.gguf 


<details>
<summary><b>ISQ (on-the-fly quantization) + KV cache compression</b></summary>
bash

Upload images via built-in Chat UI or send image_url in API requests

PD Client (decode GPU + API)

vllm-rs --d 2,3 --w /path/Qwen3-30B-A3B-Instruct-2507 --isq q4k --ui-server --port 8000 --pd-client 


**Multinode** (tcp mode)
bash

⚙️ CLI Reference

FlagDescription
--mHuggingFace model ID (auto-download)
--wLocal Safetensors model path
--fGGUF file path (or filename when --m is given)
--dDevice IDs (e.g. --d 0,1)
--ui-serverAPI server + built-in ChatGPT-style web UI
--serverAPI server only (no web UI)
--iInteractive CLI chat
--isqOn-the-fly quantization: q2k, q3k, q4k, q5k, q6k, q8_0
--kvcache-dtypeKV cache quantization: fp8, turbo8, turbo4, turbo3
--max-num-seqsMax concurrent requests (default: 32, macOS: 8)
--max-tokensMax tokens per response (default: 16384)
--kv-fractionGPU memory fraction for KV cache
--cpu-mem-foldCPU swap memory ratio (default: 0.2)
--pd-serverRun as PD prefill server
--pd-clientRun as PD decode client
--pd-urlPD connection URL (tcp://, http://, file://)
--disable-prefix-cacheDisable prefix caching
--prefix-cache-max-tokensCap prefix cache size
--disable-cuda-graphDisable CUDA graph capture
--yarn-scaling-factorYARN RoPE context extension factor
--temperatureSampling temperature (0–1)
--top-k / --top-pTop-k / nucleus sampling
--presence-penaltyPenalize repeated tokens (−2 to 2)
--frequency-penaltyPenalize frequent tokens (−2 to 2)
--mcp-configMCP servers JSON config
--mcp-command / --mcp-argsSingle MCP server command + args

---

📚 References

🧠 Supported Models

  • ✅ LLaMa (LLaMa2, LLaMa3, LLaMa4, IQuest-Coder)
  • ✅ Qwen (Qwen2, Qwen3)
  • ✅ Qwen2/Qwen3 MoE
  • ✅ Qwen3 Next
  • ✅ Qwen3.5/3.6 Dense/MoE (27B, 35B, 122B, 397B, Multimodal model)
  • ✅ Mistral v1, v2
  • ✅ Mistral-3-VL Reasoning (3B, 8B, 14B, Multimodal model)
  • ✅ GLM4 (0414, Not ChatGLM)
  • ✅ GLM4 MoE (4.6/4.7)
  • ✅ GLM4.7 Flash
  • ✅ DeepSeek V3/R1/V3.2
  • ✅ Phi3 / Phi4 (Phi-3, Phi-4, Phi-4-mini, etc.)
  • ✅ Gemma3/Gemma4 (Multimodal model)
  • ✅ Qwen3-VL (Dense, Multimodal model)
  • ✅ MiroThinker-v1.5 (30B, 235B)

Formats: Safetensors (BF16, FP8-blockwise, GPTQ, AWQ, MXFP4, NVFP4) | GGUF (all quant types) | ISQ (on-the-fly quantization)

Flash Attention backend alternative:

./build.sh --install --features cuda,nccl,flashattn,cutlass

🎯 aiskill88 AI 点评 B 级 2026-05-22

创新的Rust版vLLM实现，性能优势明显但生态还不完善。适合对Rust感兴趣的开发者和性能要求极高的场景。维护活跃度需继续观察。

⚡ 核心功能
👥 适合人群
AI 技术爱好者研究人员和学生开发者和工程师技术创业者
🎯 使用场景
  • 本地部署运行，保护数据隐私，满足合规要求
  • 自定义集成到现有系统，扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
✅ 优点
  • +MIT 协议，可免费商用
  • +完全开源免费，无授权费用
  • +本地部署，数据完全自主可控
  • +开发者社区支持，遇问题可查可问
⚠️ 不足
  • −安装和初始配置可能需要一定技术基础
  • −功能完整性通常不如成熟商业产品
  • −技术支持主要依赖开源社区，响应速度不稳定
⚠️ 使用须知

AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。

建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。

📄 License 说明

✅ MIT 协议 — 最宽松的开源协议之一，可自由商用、修改、分发，仅需保留版权声明。

🔗 相关工具推荐
llama-cpp AI技能包
高效的大语言模型C/C++推理框架，支持在本地CPU/GPU上运行量化LLM模型，具有内存占用小、推理速度快的特点。适合
andrej-karpathy-skills — Claude 必备 Skill中文文档
A single CLAUDE.md file to improve Claude Code behavior, der
MockingBird — AI 语音合成工具中文文档
🚀Clone a voice in 5 seconds to generate arbitrary speech in
humanizer — Claude 必备 Skill中文文档
Claude Code skill that removes signs of AI-generated writing
❓ 常见问题 FAQ
vllm-rs 是一款Rust开发的AI辅助工具。开源AI工作流：Minimalist vLLM implementation in Rust。⭐208 · Rust 主要应用场景包括：LLM本地推理部署、AI Agent后端、边缘计算推理。
💡 AI Skill Hub 点评

总体来看，vLLM-Rust轻量版 是一款质量良好的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。

📚 深入学习 vLLM-Rust轻量版
查看分步骤安装教程和完整使用指南，快速上手这款工具
⚙️ 安装教程 📚 使用教程
🌐 原始信息
原始名称 vllm-rs
原始描述 开源AI工作流：Minimalist vLLM implementation in Rust。⭐208 · Rust
Topics RustLLM推理vLLM高性能工作流
GitHub https://github.com/guoqingbao/vllm.rs
License MIT
语言 Rust
🔗 原始来源
🐙 GitHub 仓库  https://github.com/guoqingbao/vllm.rs

收录时间：2026-05-21 · 更新时间：2026-05-22 · License：MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。