STOPD 随机截断加速 On-Policy 蒸馏:token 省 25%–48%,训练快 1.3–2.2 倍

机器之心 · wechat · 2026-11-19

康奈尔、佐治亚理工等机构研究者提出 STOPD,解决 On-Policy Distillation(OPD)中每轮都要学生完整生成、教师逐位置评估导致的高训练成本问题。

方法:在生成前随机采样停止位置,让部分学生回答提前截断,再用逆概率加权(IPW)补偿截断带来的采样偏差;配合分块截断(默认块宽 128)压低尾部 token 的补偿权重(最大权重从 16384 降到 128)。理论上证明了加权后梯度总和在期望上与完整生成一致,并给出 SGD、Adam、Muon 下的单步更新误差界。

主要结果(教师 Qwen3-4B/30B,学生 1.7B–8B):数学任务加速 1.8 倍、生成 token 减少 34%,代码任务加速 2.2 倍、token 减少 48%,指令遵循加速 1.3 倍、token 减少 25%,准确率均与 Vanilla OPD 接近。加大 batch size 可缓解损失波动(128→512 时 loss jitter 从 12.2% 降至 6.0%)。与固定截断 ESR 相比,STOPD 保留了包括自然结束符在内的所有位置的监督机会,停止行为更健康。

论文与代码已开源,作者认为该思路可推广到其他逐 token 监督的训练场景。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →