📄 工具详情 ⚙️ 安装教程 📚 使用教程
🛠
AI工具

AngelSlim模型压缩工具

基于 Python · 开源免费，本地部署，数据完全自主可控
英文名：AngelSlim
⭐ 1.2k Stars 🍴 131 Forks 💻 Python 📄 NOASSERTION 🏷 AI 7.8分
7.8AI 综合评分
模型压缩深度学习部署优化开源工具
🌐 访问官网
✦ AI Skill Hub 推荐

AngelSlim模型压缩工具 是 AI Skill Hub 本期精选AI工具之一。已获得 1.2k 颗 GitHub Star，综合评分 7.8 分，整体质量较高。我们推荐使用将其纳入你的 AI 工具库，帮助提升工作效率。

📚 深度解析
AngelSlim模型压缩工具 是一款基于 Python 的开源工具，在 GitHub 上收获 1k+ Star，是模型压缩、深度学习、部署优化、开源工具领域中的优质开源项目。开源工具的最大优势在于代码完全透明，你可以审计每一行代码的安全性，也可以根据自身需求进行二次开发和定制。

**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。

**安装与环境准备**
AngelSlim模型压缩工具 依赖 Python 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Python 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。

**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 AngelSlim模型压缩工具 的版本更新，及时通知重要功能变化。
📋 工具概览

专业的AI模型压缩工具包，支持多种模型格式压缩优化。具有易用性强、功能全面等特点，适合AI开发者、模型优化工程师和边缘计算部署人员使用。

AngelSlim模型压缩工具 是一款基于 Python 开发的开源工具，专注于 模型压缩、深度学习、部署优化 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

GitHub Stars
⭐ 1.2k
开发语言
Python
支持平台
Windows / macOS / Linux
维护状态
正常维护，社区驱动
开源协议
NOASSERTION
AI 综合评分
7.8 分
工具类型
AI工具
Forks
131
📖 中文文档
以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

专业的AI模型压缩工具包，支持多种模型格式压缩优化。具有易用性强、功能全面等特点，适合AI开发者、模型优化工程师和边缘计算部署人员使用。

AngelSlim模型压缩工具 是一款基于 Python 开发的开源工具，专注于 模型压缩、深度学习、部署优化 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

📌 核心特色
  • 开源免费，支持本地部署，数据完全自主可控
  • 活跃的 GitHub 开源社区，持续迭代更新
  • 提供详细文档和使用示例，新手友好
  • 支持自定义配置，灵活适配不同使用环境
  • 可作为基础组件集成进现有技术栈或进行二次开发
🎯 主要使用场景
  • 本地部署运行，保护数据隐私，满足合规要求
  • 自定义集成到现有系统，扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发
以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。
安装命令
# 方式一：pip 安装（推荐）
pip install angelslim

# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate  # Windows: .venv\Scripts\activate
pip install angelslim

# 方式三：从源码安装（获取最新功能）
git clone https://github.com/Tencent/AngelSlim
cd AngelSlim
pip install -e .

# 验证安装
python -c "import angelslim; print('安装成功')"
📋 安装步骤说明
  1. 访问 GitHub 仓库页面
  2. 按照 README 文档完成依赖安装
  3. 根据系统环境完成初始化配置
  4. 参考官方示例或文档开始使用
  5. 遇到问题可在 GitHub Issues 中查找解答
以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。
常用命令 / 代码示例
# 命令行使用
angelslim --help

# 基本用法
angelslim input_file -o output_file

# Python 代码中调用
import angelslim

# 示例
result = angelslim.process("input")
print(result)
以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。
配置示例
# angelslim 配置文件示例（config.yml）
app:
  name: "angelslim"
  debug: false
  log_level: "INFO"

# 运行时指定配置文件
angelslim --config config.yml

# 或通过环境变量配置
export ANGELSLIM_API_KEY="your-key"
export ANGELSLIM_OUTPUT_DIR="./output"
📑 README 深度解析 真实文档 完整度 44/100 查看 GitHub 原文 →
以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

简介

English | 简体中文

<p align="center"> <picture> <source media="(prefers-color-scheme: dark)" srcset="./docs/source/assets/logos/angelslim_logo_light.png"> <img alt="AngelSlim" src="./docs/source/assets/logos/angelslim_logo.png" width=55%> </picture> </p>

A more accessible, comprehensive, and efficient toolkit for large model compression.

<p align="center"> ✒️ <a href="https://arxiv.org/abs/2602.21233">TechnicalReport</a>&nbsp&nbsp | &nbsp&nbsp 📖 <a href="https://angelslim.readthedocs.io/">Documentation</a>&nbsp&nbsp | &nbsp&nbsp🤗 <a href="https://huggingface.co/AngelSlim">Hugging Face</a>&nbsp&nbsp | &nbsp&nbsp🤖 <a href="https://modelscope.cn/organization/AngelSlim">ModelScope</a> <br> </p>

<p align="center"> 💬 <a href="./docs/source/assets/angel_slim_wechat.png">WeChat</a> | &nbsp&nbsp🫨 <a href="https://discord.com/invite/dHVNeuNdFt">Discord</a> <br> </p>

💼Technical Overview

Scenario Model Compression Strategy
Quantization Speculative Decoding Other Techniques
Large Language Models (LLMs)
Vision Language Models (VLMs)
Diffusion Models -
Speech Models​ (TTS/ASR)
  • Token Pruning
    • Under Development

🌟Key Features

  • Highly Integrated: This toolkit integrates mainstream compression algorithms into a unified framework, offering developers one-click access with exceptional ease of use.
  • Continuous Innovation: Beyond integrating widely-used industry algorithms, we are continuously researching better compression algorithms, which will be gradually open-sourced in the future.
  • Performance-Driven: We continuously optimize end-to-end performance in model compression workflows and algorithm deployment, such as enabling quantization of models like Qwen3-235B and DeepSeek-R1 on a single GPU.

1. Install AngelSlim

We recommend using pip to install the latest stable version of AngelSlim:

pip install angelslim

Alternatively, you can clone the repository and install from source in editable mode:

cd AngelSlim && python setup.py install

For more detailed installation instructions and platform-specific guidance, please refer to the Installation Documentation.

3. Deployment and Testing

3.1 Offline Inference

To test offline inference with a quantized model loaded via transformers.

<details> <summary>Run script details</summary>

python scripts/deploy/offline.py $MODEL_PATH "Hello, my name is"

Where MODEL_PATH is the path to the quantized model output.

</details>

3.2 API Service Deployment

After specifying the quantized model path MODEL_PATH, you can deploy an OpenAI-compatible API service using vLLM and SGLang inference frameworks.

<details> <summary>Run script details</summary>

  • vLLM

Use the following script to launch a vLLM server, recommended version vllm>=0.8.5.post1. For MOE INT8 quantized models, vllm>=0.9.0 is required.

  bash scripts/deploy/run_vllm.sh --model-path $MODEL_PATH --port 8080 -d 0,1,2,3 -t 4 -p 1 -g 0.8 --max-model-len 4096
Where -d is the visible devices, -t is tensor parallel size, -p is pipeline parallel size, and -g is the GPU memory utilization.

  • SGLang

Use the following script to launch a SGLang server, recommended version sglang>=0.4.6.post1.

  bash scripts/deploy/run_sglang.sh --model-path $MODEL_PATH --port 8080 -d 0,1,2,3 -t 4 -g 0.8

</details>

3.3 Service Invocation

Invoke requests via OpenAI's API format.

<details> <summary>Run script details</summary>

bash scripts/deploy/openai.sh -m $MODEL_PATH -p "Hello, my name is" --port 8080 --max-tokens 4096 --temperature 0.7 --top-p 0.8 --top-k 20 --repetition-penalty 1.05 --system-prompt "You are a helpful assistant."
where -p is the input prompt.

</details>

3.4 Performance Evaluation

Evaluate the performance of quantized model using lm-evaluation-harness, recommended versionlm-eval>=0.4.8.

<details> <summary>Run script details</summary>

bash scripts/deploy/lm_eval.sh -d 0,1 -t 2 -g 0.8 -r $RESULT_PATH -b "auto" --tasks ceval-valid,mmlu,gsm8k,humaneval -n 0 $MODEL_PATH
where RESULT_PATH is the directory for saving test results, -b is batch size, --tasks specifies the evaluation tasks, and -n is the number of few-shot examples.

</details>

For more detaileds, please refer to the Deployment Documentation.

🛎️How to Use

2. Quick Start

2.1 Speculative Decoding

After installing AngelSlim, you can quickly start Eagle3 training with the following scripts:

```shell

🎯 aiskill88 AI 点评 A 级 2026-05-22

模型压缩领域实用工具，涵盖多种AI模型类型，Star数不错，社区活跃度较好，持续维护更新。

⚡ 核心功能
👥 适合人群
AI 技术爱好者研究人员和学生开发者和工程师技术创业者
🎯 使用场景
  • 本地部署运行，保护数据隐私，满足合规要求
  • 自定义集成到现有系统，扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
✅ 优点
  • +完全开源免费，无授权费用
  • +本地部署，数据完全自主可控
  • +开发者社区支持，遇问题可查可问
⚠️ 不足
  • −安装和初始配置可能需要一定技术基础
  • −功能完整性通常不如成熟商业产品
  • −技术支持主要依赖开源社区，响应速度不稳定
⚠️ 使用须知

该工具使用 NOASSERTION 协议，商用场景请仔细阅读协议条款，必要时咨询法律意见。

AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。

建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。

📄 License 说明

📄 NOASSERTION — 请查阅原始协议条款了解具体使用限制。

🔗 相关工具推荐
transformers AI技能包
Hugging Face开源的深度学习框架，提供预训练语言模型、视觉模型和多模态模型。集成BERT、GPT、Llama等
andrej-karpathy-skills — Claude 必备 Skill中文文档
A single CLAUDE.md file to improve Claude Code behavior, der
MockingBird — AI 语音合成工具中文文档
🚀Clone a voice in 5 seconds to generate arbitrary speech in
humanizer — Claude 必备 Skill中文文档
Claude Code skill that removes signs of AI-generated writing
❓ 常见问题 FAQ
AngelSlim 是一款Python开发的AI辅助工具。开源AI工具：Model compression toolkit engineered for enhanced usability, comprehensiveness, 。⭐1.2k · Python 主要应用场景包括：模型体积优化、边缘设备部署、推理速度加速。
💡 AI Skill Hub 点评

经综合评估，AngelSlim模型压缩工具 在AI工具赛道中表现稳健，质量良好。如果你已有明确的使用需求，可以直接上手体验；如果还在评估阶段，建议对比同类工具后再做决策。

📚 深入学习 AngelSlim模型压缩工具
查看分步骤安装教程和完整使用指南，快速上手这款工具
⚙️ 安装教程 📚 使用教程
🌐 原始信息
原始名称 AngelSlim
原始描述 开源AI工具：Model compression toolkit engineered for enhanced usability, comprehensiveness, 。⭐1.2k · Python
Topics 模型压缩深度学习部署优化开源工具
GitHub https://github.com/Tencent/AngelSlim
License NOASSERTION
语言 Python
🔗 原始来源
🐙 GitHub 仓库  https://github.com/Tencent/AngelSlim 🌐 官方网站  https://angelslim.readthedocs.io

收录时间：2026-05-21 · 更新时间：2026-05-22 · License：NOASSERTION · AI Skill Hub 不对第三方内容的准确性作法律背书。