能力标签

🛠

AI工具

开源AI工具：Benchmark和部署优化的LLM模型

基于 Python · 开源免费，本地部署，数据完全自主可控

英文名：deplodock

⭐ 48 Stars 🍴 4 Forks 💻 Python 📄 Apache-2.0 🏷 AI 7.5分

7.5AI 综合评分

installablepython

✦ AI Skill Hub 推荐

经 AI Skill Hub 精选评估，开源AI工具：Benchmark和部署优化的LLM模型获评「推荐使用」。这款AI工具在功能完整性、社区活跃度和易用性方面表现出色，AI 评分 7.5 分，适合有一定技术背景的用户使用。

📚 深度解析

开源AI工具：Benchmark和部署优化的LLM模型是一款基于 Python 的开源工具，在 GitHub 上收获 0k+ Star，是installable、python领域中的优质开源项目。开源工具的最大优势在于代码完全透明，你可以审计每一行代码的安全性，也可以根据自身需求进行二次开发和定制。

**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。

**安装与环境准备**
开源AI工具：Benchmark和部署优化的LLM模型依赖 Python 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Python 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。

**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪开源AI工具：Benchmark和部署优化的LLM模型的版本更新，及时通知重要功能变化。

📋 工具概览

Benchmark和部署优化的LLM模型，支持GPU服务器和vLLM或SGLang。

开源AI工具：Benchmark和部署优化的LLM模型是一款基于 Python 开发的开源工具，专注于 installable、python 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

GitHub Stars

⭐ 48

开发语言

Python

支持平台

Windows / macOS / Linux

维护状态

轻量级项目，按需更新

开源协议

Apache-2.0

AI 综合评分

7.5 分

工具类型

AI工具

Forks

📖 中文文档

以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

Benchmark和部署优化的LLM模型，支持GPU服务器和vLLM或SGLang。

📌 核心特色

开源免费，支持本地部署，数据完全自主可控
活跃的 GitHub 开源社区，持续迭代更新
提供详细文档和使用示例，新手友好
支持自定义配置，灵活适配不同使用环境
可作为基础组件集成进现有技术栈或进行二次开发

🎯 主要使用场景

本地部署运行，保护数据隐私，满足合规要求
自定义集成到现有系统，扩展技术栈能力
作为开源基础组件进行商业化二次开发

以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。

安装命令

# 方式一：pip 安装（推荐）
pip install deplodock

# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate  # Windows: .venv\Scripts\activate
pip install deplodock

# 方式三：从源码安装（获取最新功能）
git clone https://github.com/cloudrift-ai/deplodock
cd deplodock
pip install -e .

# 验证安装
python -c "import deplodock; print('安装成功')"

📋 安装步骤说明

访问 GitHub 仓库页面
按照 README 文档完成依赖安装
根据系统环境完成初始化配置
参考官方示例或文档开始使用
遇到问题可在 GitHub Issues 中查找解答

以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。

常用命令 / 代码示例

# 命令行使用
deplodock --help

# 基本用法
deplodock input_file -o output_file

# Python 代码中调用
import deplodock

# 示例
result = deplodock.process("input")
print(result)

以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。

配置示例

# deplodock 配置文件示例（config.yml）
app:
  name: "deplodock"
  debug: false
  log_level: "INFO"

# 运行时指定配置文件
deplodock --config config.yml

# 或通过环境变量配置
export DEPLODOCK_API_KEY="your-key"
export DEPLODOCK_OUTPUT_DIR="./output"

📑 README 深度解析真实文档完整度 32/100 查看 GitHub 原文 →

以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

简介

Compile → Benchmark → Deploy any LLM on any GPU. vLLM, SGLang, or create your own specialized deployment using a hackable compiler.

Install

git clone https://github.com/cloudrift-ai/deplodock.git
cd deplodock && make setup

Compile

A hackable PyTorch → Graph IR → CUDA compiler. Trace any nn.Module, fuse it into one kernel, run it, and inspect the emitted CUDA. See the blog post: A Principled ML Compiler Stack in 5,000 Lines of Python.

```bash

Compile a single layer

deplodock compile -c "nn.RMSNorm(2048)(torch.randn(1,32,2048))"

Compile full model from HuggingFace (will download weights)

deplodock compile Qwen/Qwen2.5-7B


Layer-norm-style reduction (two reductions, broadcast subtract, elementwise chain) fused into two kernels:

bash deplodock compile -c " class LN(torch.nn.Module): def forward(self, x): m = x.mean(-1, keepdim=True) v = ((x - m) ** 2).mean(-1, keepdim=True) return (x - m) torch.rsqrt(v + 1e-6) LN()(torch.randn(64, 2048))"
Principled compilation stack with six IR stages, each printable on demand via `--ir <stage>`: 1. **Torch IR** — captures the FX graph as a 1:1 mirror of PyTorch's op set (`rmsnorm`, `linear`, `softmax`, ...) 2. **Tensor IR** — decomposes every Torch op into three primitives: `Elementwise`, `Reduction`, and `IndexMap` 3. **Loop IR** — lifts each primitive to a `LoopOp` and fuses 4. **Tile IR** — schedules kernels onto GPU 5. **Kernel IR** — materializes the schedule into framework-agnostic hardware primitives 6. **CUDA** — optimized CUDA code ready for `nvcc` **Readable Schedule**: `deplodock compile -c "nn.RMSNorm(2048)(torch.randn(1,32,2048))" --ir tile`
kernel k_rms_norm_reduce inputs: rms_norm_mean_count, rms_norm_eps, x, p_weight outputs: rms_norm in0 = load rms_norm_mean_count[0] in1 = load rms_norm_eps[0] Tile(axes=(a0:256=THREAD, a1:32=BLOCK)): x_smem = Stage(x, origin=(0, a1, 0), slab=(a2:2048@2)) async p_weight_smem = Stage(p_weight, origin=(0), slab=(a3:2048@0)) async StridedLoop(a2 = a0; < 2048; += 256): # reduce in2 = load x_smem[a2] v0 = multiply(in2, in2) acc0 <- add(acc0, v0) v1 = divide(acc0, in0) v2 = add(v1, in1) v3 = rsqrt(v2) StridedLoop(a3 = a0; < 2048; += 256): # free in3 = load x_smem[a3] in4 = load p_weight_smem[a3] v4 = multiply(in3, v3) v5 = multiply(v4, in4) rms_norm[0, a1, a3] = v5
**Optimized CUDA kernel**: `deplodock compile -c "nn.RMSNorm(2048)(torch.randn(1,32,2048))" --ir cuda`
c extern "C" global __launch_bounds__(256) void k_rms_norm_reduce(const float x, const float* p_weight, float* rms_norm) { float in0 = 2048.0f; float in1 = 1e-06f; { int a1 = blockIdx.x; int a0 = threadIdx.x; float acc0 = 0.0f; syncthreads(); shared__ float x_smem[2048]; for (int x_smem_flat = a0; x_smem_flat < 2048; x_smem_flat += 256) { { unsigned int _smem_addr = __cvta_generic_to_shared(&x_smem[x_smem_flat]); asm volatile("cp.async.ca.shared.global [%0], [%1], 4;\n" :: "r"(_smem_addr), "l"(&x[a1 2048 + x_smem_flat]) : "memory"); } } asm volatile("cp.async.commit_group;\n" ::: "memory"); asm volatile("cp.async.wait_group 0;\n" ::: "memory"); syncthreads(); shared__ float p_weight_smem[2048]; for (int p_weight_smem_flat = a0; p_weight_smem_flat < 2048; p_weight_smem_flat += 256) { { unsigned int _smem_addr = __cvta_generic_to_shared(&p_weight_smem[p_weight_smem_flat]); asm volatile("cp.async.ca.shared.global [%0], [%1], 4;\n" :: "r"(_smem_addr), "l"(&p_weight[p_weight_smem_flat]) : "memory"); } } asm volatile("cp.async.commit_group;\n" ::: "memory"); asm volatile("cp.async.wait_group 0;\n" ::: "memory"); __syncthreads(); for (int a2 = a0; a2 < 2048; a2 += 256) { float in2 = x_smem[a2]; float v0 = in2 in2; acc0 += v0; } shared float acc0_smem[256]; acc0_smem[a0] = acc0; __syncthreads(); for (int s = 128; s > 0; s >>= 1) { if (a0 < s) { acc0_smem[a0] = acc0_smem[a0] + acc0_smem[a0 + s]; } syncthreads(); } syncthreads(); float acc0_b = acc0_smem[0]; float v1 = acc0_b / in0; float v2 = v1 + in1; float v3 = rsqrtf(v2); for (int a3 = a0; a3 < 2048; a3 += 256) { float in3 = x_smem[a3]; float in4 = p_weight_smem[a3]; float v4 = in3 v3; float v5 = v4 in4; rms_norm[a1 * 2048 + a3] = v5; } } } ```

Deploy

```bash

Local Docker Compose

deplodock deploy local --recipe recipes/Qwen3-Coder-30B-A3B-Instruct-AWQ

Cross-product: 3 GPUs × 2 concurrency configs = 6 variants

matrices: cross: deploy.gpu_count: 1 deploy.gpu: - "NVIDIA GeForce RTX 5090" - "NVIDIA H100 80GB" - "NVIDIA H200 141GB" zip: engine.llm.max_concurrent_requests: [128, 512] benchmark.max_concurrency: [128, 512]


Generic workload (run any tool on the VM, pull back result files):

yaml command: stage: ["scripts"] run: | nvidia-smi --query-gpu=name,memory.used --format=csv > $task_dir/result.csv result_files: ["result.csv"] timeout: 60

matrices: deploy.gpu: "NVIDIA GeForce RTX 5090" deploy.gpu_count: 1 ```

🎯 aiskill88 AI 点评 A 级 2026-05-25

deplodock是一个开源AI工具，用于Benchmark和部署优化的LLM模型。它支持GPU服务器和vLLM或SGLang，但缺乏明显的使用场景和安装说明。

⚡ 核心功能