Nano AI

1. 安装依赖

conda create -n nano python=3.10
conda activate nano
python -m pip install -r requirements.txt

模型和数据

其中各尺寸模型的参数如下（在config/model.json中设置）：

公开数据集：

• 预训练数据（7z压缩包，解压口令“nano”）：Nano-PT-10G

适配Nano推理引擎的Qwen2.5/Qwen3模型：bd4sur/Qwen3

探索去噪生成的试验性模型：Nano-Denoise

4. 模型转换

模型转换的目的，是将Torch训练出的模型检查点（扩展名为pt）转换为端侧推理所需的模型文件（扩展名为bin），以及对模型进行量化、压缩，以缩减模型尺寸，便于分发、部署、推理加速。

Nano模型转换，执行以下命令：

python export.py model.bin [--checkpoint | --quant | --lora] checkpoint.pt

Qwen2/Qwen3模型转换，执行以下命令：

python infer_marga/tools/export_qwen.py qwen3-0b6.bin --hf /home/bd4sur/ai/_model/Qwen3/Qwen3-0.6B

python infer_marga/tools/export_qwen.py qwen3-1b7.bin --hf /home/bd4sur/ai/_model/Qwen3/Qwen3-1.7B

模型文件的格式参考了karpathy/llama2.c，但是有不同之处。描述如下：

model_file
  ├─header             (u32*64=256B定长)
  │   ├─magic_number_0 (u32=4B) = 0x42443453
  │   ├─magic_number_1 (u32=4B) = 0x55524c4d
  │   ├─major_version  (u32=4B)
  │   ├─minor_version  (u32=4B)
  │   ├─model_type     (u32=4B)
  │   ├─config_length  (u32=4B)
  │   ├─model_config   (u32*config_length)
  │   ├─quant_config   (u32*x) 量化相关参数，详见`export.py`中的实现
  │   ╰─padding        (u8填充到256B)
  ├─tokenizer_config   (不定长) 其详细定义见`export.py`中的注释，LoRA模块无此字段
  ╰─model_params       (不定长) 其详细定义见`export.py`中的实现

Transformer模型结构

Nano是基于Transformer编码器结构的语言模型，可解决自回归生成、去噪生成或序列到序列生成等多种任务。默认配置为因果自注意力编码器结构的自回归语言模型，如下图所示。

• 模型结构以Llama2和GPT（karpathy/nanoGPT）为主要参考。
• 使用旋转位置编码RoPE和前置均方根标准化RMSNorm。
• 使用分组查询注意力（GQA）。
• 使用SwiGLU，参考文献。
• 可选择因果自注意力或全局自注意力，前者用于语言模型，后者用于在其他任务上的探索。
• 词元编码层与输出层共享权重。参考文献。
• 支持KV-Cache。
• 支持插件化的低秩适配（LoRA）训练和推理。

模型结构参数model.json：

一般而言，对于小规模模型，在保证宽度（n_embd）的前提下，尽量加大深度（n_layer）。

词元编码

• Nano使用简单的启发式词元编码，也就是给某个字符集中的独立字符、以及某个人工指定的词表中的每个词条，赋予唯一整数编号，作为词元编号。词元编码的输入是unicode码点序列（而非BPE的字节序列），输出是词元编码的序列。
• 为了提升英文编码效率，在词表中手工添加了部分英文单词。
• 词元编码器采用Trie树+最大前向匹配算法进行分词。
• 仓库中同时包含了tiktoken提供的一个BPE词元编码算法，由于速度很慢，并不实用，因此仅作为参照，并不实际使用。之所以不使用BPE等词元编码工具，例如tiktoken、Tokenizers等，一方面是为了最小化外部依赖，另一方面也是想探索不含（高效）词元编码的语言模型效果如何。

模型训练参数

• from_checkpoint: str：从哪个检查点继续训练。其值是绝对路径。说明：训练选项中涉及的所有路径，都是绝对路径。
• save_checkpoint_to: str：检查点保存位置的绝对路径。其值必须是目录。默认值为仓库根目录下checkpoint/目录。
• dataset_path: [[str, str], ...]：预处理后的数据集的绝对路径。该字段的值为列表，列表的每一项都是含有两个元素的子列表，子列表的第一个元素是训练集的绝对路径，第二个元素是验证集的绝对路径。
• tokenizer_path: str：词表绝对路径。默认值为仓库根目录下tokenizer/tokenizer_16384.json。
• random_seed: int：Torch的随机数种子。默认值为39。固定这个值，便于复现特定结果，利于调试。
• batch_size: int：训练批大小。默认值为32。一般来说，批大小越大，越有利于模型收敛，也更能充分利用算力资源。但代价是成倍消耗显存。如果启用梯度累加，则实际等效批大小为batch_size乘以gradient_accumulation_steps。
• gradient_accumulation_steps: int：梯度累加步数。默认值：1。在DDP场景下，梯度累积步数必须是GPU卡数的整数倍。梯度累加技术可以在有限的批次大小上模拟以较大批大小训练的效果，其原理是以时间换空间，根据偏导数的加法分配律，将几个小批次上多步迭代得到的梯度进行累加，使用累加后的梯度一次性更新参数，达到模拟较大批次的效果。
• grad_clip: float：梯度压限系数，用于防止梯度爆炸。默认值：1.0。
• dropout: float：随机丢弃层的丢弃概率，仅在训练阶段有效。默认值：0。预训练阶段一般设置为0，微调阶段一般为非0。
• learning_rate: float：初始学习率。默认值：5e-4。模型越小，初始学习率越应适当增大。
• weight_decay: float：权重衰减系数。默认值：1e-1。
• beta1: float：AdamW优化器参数，详见文档。默认值：0.9。
• beta2: float：AdamW优化器参数，详见文档。默认值：0.99。
• decay_lr: bool：是否启用学习率调度？若不启用，则为恒定学习率。默认值：true。
• warmup_iters: int：学习率预热阶段的步数，仅当启用学习率调度时有效。默认值：10000。
• lr_decay_iters: int：学习率调度的总步数，仅当启用学习率调度时有效。默认值：1e9。
• min_lr: float：最小学习率，仅当启用学习率调度时有效。默认值：6e-5。
• eval_interval: int：每隔几步在验证集上计算一次损失。默认值：100。说明：如果满足检查点保存条件，将保存检查点。
• log_interval: int：每隔几步打印一次日志。默认值：10。注意：打印日志会计算损失值，比较耗时，因此不建议过于频繁地打印日志。
• eval_iters: int：每次验证需要用几批数据。默认值：5。
• backend: str：分布式通信后端。可选值：nccl等。用于DDP。
• device: str：计算设备。可选值：cuda、cuda:x用于指定某个GPU、cpu、mps等。一般无需特别设置，除非：①设备无显卡，将自动回落到CPU；②DDP模式下将自动设置为某一块GPU。
• sdp_kernel: str：缩放点积注意力的实现。可选值：math基础、flash高效（默认）、mem_efficient节省显存。其中flash仅支持FP16和BF16两种输入精度，且可能存在其他限制条件。
• dtype: str：训练数据类型。可选值：float32单精度（E8M23）、float16半精度（E5M10）、bfloat16半精度（E8M7，默认）。一般而言，若使用Ampere及以上的GPU架构，建议使用BF16。
• use_amp: bool：是否使用自动混合精度技术？仅当dtype设置为FP16和BF16时，才支持AMP。一般而言，启用AMP可节约显存占用，同时有助于训练稳定和收敛，也能够充分利用半精度运算所带来的速度增益。但是笔者实测发现，在 AGX Orin 和 Orin NX 等Ampere架构的GPU上，关闭AMP并使用BF16数据类型，性能更高，但代价是损失数值计算精度，可能带来模型难以收敛的风险。若AMP开启，默认同时启用TF32支持，以提升32位浮点数的运算性能。

解码策略

• Nano采用基于温度的随机采样策略，结合top-p、top-k采样和重复惩罚机制，从语言模型输出的概率分布中按照概率随机地采样出词元序列。若温度为0，则退化为贪心采样，即每次都选概率最大的词元。
• Nano同时支持去噪和序列到序列的（非自回归）推理，用于NLP以外的其他问题的研究。

基于DeepSpeed的分布式训练（已废弃）

<details>

Nano支持基于DeepSpeed的零冗余优化（ZeRO）训练。以2节点4卡ZeRO3-Offload方式为例，在主节点上执行以下命令。可以修改ds_config.json以调整ZeRO设置。注意：根据文档，train_batch_size必须等于train_micro_batch_size_per_gpu gradient_accumulation GPU数量。

deepspeed train_deepspeed.py --deepspeed --deepspeed_config deepspeed_config.json --hostfile=hostfile.txt

其中hostfile.txt的内容如下：

192.168.10.52 slots=2
192.168.10.61 slots=2

推理阶段注意：如果是DeepSpeed训练的模型，则需要先执行checkpoint/ds目录中的转换脚本，将其转化为PyTorch能够接受的state_dict格式，再执行推理脚本：

cd Nano/checkpoint/ds
python zero_to_fp32.py . ckpt_ds.pt
cd Nano
python inference_ds.py

</details>

模型评测