STOPD 随机截断加速 On-Policy 蒸馏:token 省 25%–48%,训练快 1.3–2.2 倍
机器之心 · wechat · 2026-11-19
康奈尔、佐治亚理工等机构研究者提出 STOPD,解决 On-Policy Distillation(OPD)中每轮都要学生完整生成、教师逐位置评估导致的高训练成本问题。
方法:在生成前随机采样停止位置,让部分学生回答提前截断,再用逆概率加权(IPW)补偿截断带来的采样偏差;配合分块截断(默认块宽 128)压低尾部 token 的补偿权重(最大权重从 16384 降到 128)。理论上证明了加权后梯度总和在期望上与完整生成一致,并给出 SGD、Adam、Muon 下的单步更新误差界。
主要结果(教师 Qwen3-4B/30B,学生 1.7B–8B):数学任务加速 1.8 倍、生成 token 减少 34%,代码任务加速 2.2 倍、token 减少 48%,指令遵循加速 1.3 倍、token 减少 25%,准确率均与 Vanilla OPD 接近。加大 batch size 可缓解损失波动(128→512 时 loss jitter 从 12.2% 降至 6.0%)。与固定截断 ESR 相比,STOPD 保留了包括自然结束符在内的所有位置的监督机会,停止行为更健康。
论文与代码已开源,作者认为该思路可推广到其他逐 token 监督的训练场景。
「研究」频道最新
- tla-kit:把 TLA+ 全套验证工具装进一个可复现容器,附 14 个工具的 MCP server — Scottie-2222 · 2026-11-19
- 免费大学级教材:从数学原理拆解 Transformer 注意力与 token 动力学 — CatAstro_Piyush · 2026-11-19
- Anshul Kundaje 补充:科研产出应像代码一样版本控制,而非一锤定音的最终版 — anshulkundaje · 2026-11-19
- 港科大等发布 META-Robot:56 次真机试抓成功 44 次,可自检自修复 — jiqizhixin · 2026-11-19
- Raschka 补全位置编码长文附录:新增 YaRN 与 ALiBi 详解 — rasbt · 2026-11-19
- 蚂蚁灵波具身挑战赛收官:同一VLA基座,15队48小时真机攻坚 — 机器之心 · 2026-11-19