预训练蒸馏加一点输入噪声反而更优,新论文实测增益显著

DimitrisPapail · x · 2026-11-16

新论文《Perturbing Inputs Improves Pretraining Distillation》由 Jack Cai 与 Yihe Dong、Dimitris Papail、Shivam Garg 合作完成。方法本身改动极小:在预训练蒸馏中,小模型学生要在训练文本上对齐大模型教师的 next-token 预测;论文让训练前半程师生双方都读取加了扰动的文本(如 token 输入加噪),学生去匹配教师在扰动输入上的预测,之后再切回干净文本。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →