经 AI Skill Hub 精选评估，迷你大模型 获评「推荐使用」。这款AI工具在功能完整性、社区活跃度和易用性方面表现出色，AI 评分 6.5 分，适合有一定技术背景的用户使用。
📚 深度解析
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
迷你大模型 依赖 Python 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Python 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 迷你大模型 的版本更新，及时通知重要功能变化。
📋 工具概览
迷你大模型 是一款基于 Python 开发的开源工具，专注于 大语言模型、开源模型、模型复现 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
📖 中文文档
迷你大模型 是一款基于 Python 开发的开源工具，专注于 大语言模型、开源模型、模型复现 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 方式一：pip 安装（推荐）
pip install mini-llm
# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install mini-llm
# 方式三：从源码安装（获取最新功能）
git clone https://github.com/WKQ9411/Mini-LLM
cd Mini-LLM
pip install -e .
# 验证安装
python -c "import mini_llm; print('安装成功')"
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 命令行使用
mini-llm --help
# 基本用法
mini-llm input_file -o output_file
# Python 代码中调用
import mini_llm
# 示例
result = mini_llm.process("input")
print(result)
# mini-llm 配置文件示例（config.yml） app: name: "mini-llm" debug: false log_level: "INFO" # 运行时指定配置文件 mini-llm --config config.yml # 或通过环境变量配置 export MINI_LLM_API_KEY="your-key" export MINI_LLM_OUTPUT_DIR="./output"
Mini-LLM
<p align="center"> <img src="./assets/logo.png" width="300"/> </p>
一、项目简介
本项目旨在基于较小的算力，复现当前主流开源模型的架构，实现一个 100-200M 参数量版本的迷你模型。项目将数据集、训练流程等基础设施尽可能固定下来，以便在学习新的模型架构时能够快速复现，从而将主要精力聚焦在模型架构的学习和复现上。
主要目标： 1. 学习并复现当前主流开源模型架构 2. 从零实现常用的训练和推理流程
为了实现这一目标，在先前版本的 Mini-LLM 中，我们完全自定义实现了 model 包，其中包括 BaseModel 和 BaseModelArgs 等基类。后来发现，这样的构建思路与 transformers 库的 PreTrainedModel 和 PretrainedConfig 类似。基于这种相似性，为了更好地与 HuggingFace 生态兼容，我们直接重构了项目结构。当前版本实现的模型完全兼容 transformers 库，可以直接使用 from_pretrained、generate 等方法进行模型加载和推理。同时，为了深入理解训练和推理原理，项目仍然提供了一套独立的训练代码和生成代码实现。早期版本的 Mini-LLM 已移动到 legacy 分支。
本项目建立时，是基于 transformers 4.x 版本，当前 transformers 已处于 5.x 版本，transformers 中有一些函数签名变化了，尚不确定会不会存在兼容性问题，后续会逐渐过渡到 transformers 5.x 接口，目前固定到 4.56.1 版本保证兼容性。
1. 数据集介绍
目前使用的数据集包括：
主要使用该数据集中得分为4-5分的高质量语料部分，共9745个 parquet 文件（编号是从0-9766，中间似乎有缺失编号，但从 ModelScope 上确实下载的是9745个文件），总共约70GB。主要用途： - 使用该数据集的5%采样作为 tokenizer 训练数据 - 使用该数据集的20%采样作为预训练数据 - 如果算力足够，也可采用全部数据进行预训练 - 使用该数据集的0.1%采样作为YaRN微调数据
大约16GB，主要用途： - 使用该数据集的全部作为预训练数据 - 采样50000条作为 SFT 数据
使用其中的 ultrafeedback-chinese-binarized-lowest 子集作为 DPO 数据集，可根据 DPO 评分范围筛选训练子集。
- 自行合成的 GRPO 数据集。
数据集由 Gemini 3.1 Pro 合成，任务是修复或修改 JSON 格式，分为 prompt、thinking、response 三个部分。prompt 用于给出一个有错误或需修改的简单 JSON，thinking 是合成的思维链，response 是不包含额外解释的 JSON 输出。
（一）环境配置
- 克隆项目
git clone https://github.com/WKQ9411/Mini-LLM.git
cd Mini-LLM- 初始化环境
执行以下脚本，将自动检测环境并安装依赖。模型训练需要 CUDA 环境，如果仅尝试使用训练好的权重进行推理，可以使用 CPU 环境。
```shell
（四）模型结构
模型结构参考论文、官方仓库源码、transformers 实现等，其中的hidden_states形状统一为: (B, H, L, D)，其中B为 batch size，H为头数，L为序列长度，D为每个头的维度。
模型结构参考本人 GitHub 博客：
博客中的mini_llama3和mini_deepseekv3的代码部分是基于早期版本的 Mini-LLM 实现的，与当前版本不完全一致，但核心思想是相同的。
1. mini_llama3，Dense Model: - 代码解读 2. mini_deepseekv3，MoE Model: - 论文解读 - 代码解读 3. mini_qwen3_next，Linear Model: - 论文解读 - Transformers are RNNs - 论文解读 - Gated Delta Network - 论文解读 - Gated Attention 4. mini_deepseekv4，MoE Model: - 论文解读
轻量级模型复现项目，有助于理解LLM架构。但信息透露不足，维护活跃度有待观察，适合有基础的开发者探索。
- 需要 Mini-LLM 解决具体问题的开发者与运营人员
- 先在测试环境跑通最小用例，再接入生产数据
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- Python 依赖冲突：建议用 venv / uv 隔离环境
- CLI：直接 npm install -g / pip install，命令行调用
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 需要 Mini-LLM 解决具体问题的开发者与运营人员
- 先在测试环境跑通最小用例，再接入生产数据
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- Python 依赖冲突：建议用 venv / uv 隔离环境
👥 适合人群
🎯 使用场景
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −未明确开源协议，商用场景需谨慎评估
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
该工具未明确声明开源协议，商业使用前请联系原作者确认授权范围，避免侵权风险。
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
🔗 相关工具推荐
❓ 常见问题 FAQ
AI Skill Hub 点评：迷你大模型 的核心功能完整，质量良好。对于AI 技术爱好者来说，这是一个值得纳入个人工具库的选择。建议先在非生产环境试用，再逐步推广。
| 原始名称 | Mini-LLM |
| 原始描述 | 开源AI工具：This project aims to replicate mainstream open-source model architectures with l。⭐184 · Python |
| Topics | 大语言模型开源模型模型复现Python |
| GitHub | https://github.com/WKQ9411/Mini-LLM |
| 语言 | Python |
收录时间：2026-05-21 · 更新时间：2026-05-30 · License：未公布 · AI Skill Hub 不对第三方内容的准确性作法律背书。