KAIST 论文发现「教师漂移」:多语言推理蒸馏需及时叫停教学
Jaewon Cho · hf · 2026-11-09
KAIST 与高丽大学团队提出可教学前缀蒸馏方法，研究多语言推理自蒸馏中的 Teacher Drift（教师漂移） 现象：随着学生模型在中间步骤累积错误，作为教师的同一模型可能不再纠错，反而顺着学生的错误步骤走下去。
方法核心是 Teachable On-Policy Self-Distillation：检测教师何时仍能提供有效纠错（可教学时刻），只在此时进行蒸馏，并限制教师漂移。该改进对低资源语言尤为有效，提升了多语言数学推理蒸馏的质量。
「研究」频道最新
- 谷歌 AI 团队自动发现量子程序，量子算术成本降 290 倍 — dair_ai · 2026-11-09
- 综述发现:连续语言模型近一年进展转向少步生成 — LucaAmb · 2026-11-09
- RoboMoCap 发布：200+ 小时全身动作捕捉数据，专供人形机器人学习 — DJiafei · 2026-11-09
- 5 本免费数学教材覆盖机器学习核心数学，含习题 — cneuralnetwork · 2026-11-09
- 五本免费 ML 数学经典教材合集：线性代数到深度学习全带习题 — cneuralnetwork · 2026-11-09
- GeoAI 圆桌播客：图像分类、文本提示训练与开源工具 — giswqs · 2026-11-09