rasbt「Reasoning From Scratch」完结：手把手蒸馏推理模型

rasbt · x · 2026-10-17

Sebastian Raschka 的「Reasoning From Scratch」系列迎来第 8 讲（完结篇），主题是蒸馏——作为此前强化学习训练的高效替代方案。

本讲从零实现推理蒸馏全流程：soft vs. hard distillation、on-policy vs. off-policy 的取舍、基于 DeepSeek R1 MATH 数据集准备训练数据、检查推理轨迹、tokenization 与 chat template、2048 token 的序列长度限制处理、用 Qwen3-0.6B base 模型计算 answer-token 对数概率与交叉熵损失、实现完整训练循环，最后在 MATH-500 上评估各 checkpoint 并对比不同教师模型的蒸馏效果，结尾讨论推理模型的未来方向。作者表示将短暂休整后回归。