新研究:对输入加噪可提升预训练蒸馏效果,数据受限场景同样奏效

DimitrisPapail · x · 2026-11-17

论文《Perturbing Inputs Improves Pretraining Distillation》提出一个简单改动:预训练蒸馏时,让小型学生模型在训练前半段学习匹配教师模型在加噪文本上的 next-token 预测,之后再切回干净文本。

在相同训练步数与 token 预算下,该方法优于标准蒸馏,并且在数据受限、多 epoch 重复数据的设置下同样有效。转发评论给出的直觉解释:自回归生成时模型会出错,加噪让学生模型在预训练阶段就学会自我纠错,使自身生成分布更接近训练分布(与 RL 解决的问题类似,也与信息瓶颈理论相关)。

所属事件:新研究发现扰动输入可显著提升预训练蒸馏效果(3 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →