现代LLM笔记本
现代LLM笔记本 是 AI Skill Hub 本期精选AI工具之一。综合评分 8.0 分，整体质量较高。我们强烈推荐将其纳入你的 AI 工具库，帮助提升工作效率。
📚 深度解析
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
现代LLM笔记本 依赖 Jupyter 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Jupyter 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 现代LLM笔记本 的版本更新，及时通知重要功能变化。
📋 工具概览
现代LLM笔记本 是一款基于 Jupyter Notebook 开发的开源工具，专注于 ai、llm、jupyter 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
📖 中文文档
现代LLM笔记本 是一款基于 Jupyter Notebook 开发的开源工具，专注于 ai、llm、jupyter 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 克隆仓库 git clone https://github.com/walkinglabs/modern-llm-notebook cd modern-llm-notebook # 查看安装说明 cat README.md # 按 README 完成环境依赖安装后即可使用
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 查看帮助 modern-llm-notebook --help # 基本运行 modern-llm-notebook [options] <input> # 详细使用说明请查阅文档 # https://github.com/walkinglabs/modern-llm-notebook
# modern-llm-notebook 配置说明 # 查看配置选项 modern-llm-notebook --config-example > config.yml # 常见配置项 # output_dir: ./output # log_level: info # workers: 4 # 环境变量（覆盖配置文件） export MODERN_LLM_NOTEBOOK_CONFIG="/path/to/config.yml"
Modern LLM Notebook
<p align="center"> <strong>A from-scratch, notebook-first course for understanding modern LLM systems.</strong> </p>
<p align="center"> Build the core components yourself—from Tokenizer and Transformer to training, inference, alignment, and production. </p>
<p align="center"> <a href="README.md"><strong>English</strong></a> · <a href="README-CN.md"><strong>中文文档</strong></a> · <a href="https://walkinglabs.github.io/modern-llm-notebook/"><strong>Read Online</strong></a> · <a href="https://colab.research.google.com/github/walkinglabs/modern-llm-notebook/blob/main/notebooks-en/part1-foundation/01-tokenizer-basics.ipynb"><strong>Start in Colab</strong></a> · <a href="https://discord.gg/XU7DQmpqk"><strong>Join Discord</strong></a> </p>
<p align="center"> <a href="https://github.com/walkinglabs/modern-llm-notebook/stargazers"> <img alt="GitHub stars" src="https://img.shields.io/github/stars/walkinglabs/modern-llm-notebook?style=social"> </a> <a href="https://github.com/walkinglabs/modern-llm-notebook/actions/workflows/quality.yml"> <img alt="Quality checks" src="https://github.com/walkinglabs/modern-llm-notebook/actions/workflows/quality.yml/badge.svg"> </a> <a href="https://github.com/walkinglabs/modern-llm-notebook/blob/main/LICENSE"> <img alt="License" src="https://img.shields.io/badge/license-CC%20BY--NC--SA%204.0-blue"> </a> <img alt="Python" src="https://img.shields.io/badge/Python-3.9%2B-3776AB"> <img alt="PyTorch" src="https://img.shields.io/badge/PyTorch-2.0%2B-EE4C2C"> <img alt="Notebooks" src="https://img.shields.io/badge/Notebooks-30%2B-orange"> <img alt="Languages" src="https://img.shields.io/badge/Languages-English%20%7C%20Chinese-2ea44f"> </p>
<p align="center"> <a href="#course-preview">Preview</a> · <a href="#overview">Overview</a> · <a href="#design-principles">Principles</a> · <a href="#curriculum">Curriculum</a> · <a href="#quick-start">Quick Start</a> · <a href="#project-status">Status</a> · <a href="#contributing">Contributing</a> </p>
[!NOTE] Modern LLM Notebook is under active development. The Chinese course is the source edition; the English mirror is being updated alongside it. Corrections, suggestions, and focused pull requests are welcome.
Overview
Modern LLM Notebook is an open, hands-on course for engineers who want to understand large language models by rebuilding their essential machinery in PyTorch.
Instead of treating an LLM as a black box, the course follows the complete path from raw text to a working model system. You will implement Tokenizer, Embedding, Self-Attention, Transformer blocks, training objectives, MoE, LoRA, RLHF, decoding, KV Cache, long-context techniques, VLM components, evaluation, and distillation through small, runnable notebooks.
The goal is not to reproduce a production framework line by line. The goal is to build a durable mental model: what each component does, why it exists, how the numbers flow through it, and what changes when you run an experiment.
Each notebook follows the same learning path:
intuition -> hand calculation -> implementation -> experimentThis makes the repository useful both as a structured course and as an educational reference you can return to when reading papers or production code.
What's New
Aug 2026 — Part 3 (Inference, notebooks 20-26) fully rebuilt. All seven inference notebooks were rewritten in the Part 1 house style: intuition first, problem-chain narrative, summary checklists, and 3 self-checking homework problems each. Highlights:
- Quantization (22): FP8/FP4 formats with a grid experiment, GGUF/K-quant details, and an end-to-end walkthrough producing GPTQ/FP8 (llm-compressor), AWQ (AutoAWQ), and GGUF (llama.cpp with imatrix), then serving each one - Speculative decoding (23): a runnable speculative-sampling loop with measured acceptance and speedup - Inference systems (24): batching/paging/prefix-caching simulators; refreshed vLLM and SGLang deployment workflows - Evaluation (25): pipeline view of an eval run, real example items from MMLU/C-Eval/CMMLU/GSM8K/HumanEval, a tooling map (lm-evaluation-harness / OpenCompass / EvalScope), confidence intervals, plus a hands-on lab that registers a custom Chinese benchmark into lm-eval via YAML, scores GPT-2 vs Qwen2.5-0.5B, and reproduces a tech-report-style bar chart - Deployment (26): serving quantized checkpoints and tying back to the pre-launch evaluation checklist
What You Will Build
| Stage | You build | Why it matters |
|---|---|---|
| Text to tokens | Character, word, and BPE tokenizers | See exactly how raw text becomes model input |
| Tokens to vectors | Token Embedding and position encodings | Understand the representation the model computes over |
| Transformer core | Self-Attention, Multi-Head Attention, Transformer blocks, Mini-GPT | Reconstruct the core forward pass |
| Training system | Cross-Entropy, batching, gradient flow, scaling-law experiments | Connect loss curves to model behavior |
| Modern architectures | RMSNorm, SwiGLU, RoPE, GQA, MLA, MoE | Understand how current models extend the original Transformer |
| Adaptation and alignment | LoRA, reward modeling, PPO, DPO | See how base models become specialized and aligned |
| Inference system | Sampling, beam search, KV Cache, speculative decoding | Understand why serving is also a systems problem |
| Frontier experiments | Long context, reasoning, VLM components, efficient attention | Turn recent ideas into small runnable examples |
| Production loop | Evaluation, distillation, deployment concepts | Measure, compress, and serve model behavior |
raw text -> tokens -> embeddings -> attention -> Transformer -> Mini-GPT
-> training -> alignment -> inference -> evaluation -> deploymentQuick Start
高质量的LLM构建教程
- 构建企业知识库 / RAG 检索应用的团队
- 跨境业务、多语言内容运营团队
- 先在测试环境跑通最小用例，再接入生产数据
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 构建企业知识库 / RAG 检索应用的团队
- 跨境业务、多语言内容运营团队
- 先在测试环境跑通最小用例，再接入生产数据
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
👥 适合人群
🎯 使用场景
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
该工具使用 NOASSERTION 协议，商用场景请仔细阅读协议条款，必要时咨询法律意见。
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
📄 NOASSERTION — 请查阅原始协议条款了解具体使用限制。
🔗 相关工具推荐
❓ 常见问题 FAQ
经综合评估，现代LLM笔记本 在AI工具赛道中表现稳健，质量优秀。如果你已有明确的使用需求，可以直接上手体验；如果还在评估阶段，建议对比同类工具后再做决策。
| 原始名称 | modern-llm-notebook |
| 原始描述 | 开源AI工具：A hands-on course for building modern LLMs from scratch in PyTorch, with 23 runn。⭐15 · Jupyter Notebook |
| Topics | aillmjupyter |
| GitHub | https://github.com/walkinglabs/modern-llm-notebook |
| License | NOASSERTION |
| 语言 | Jupyter Notebook |
收录时间：2026-05-26 · 更新时间：2026-05-30 · License：NOASSERTION · AI Skill Hub 不对第三方内容的准确性作法律背书。