扰动输入即可改进预训练蒸馏:新论文重演 mixup 式技巧

DimitrisPapail · x · 2026-11-17

新论文《Perturbing Inputs Improves Pretraining Distillation》(作者含 Yihe Dong、Dimitris Papail、Shivam Garg)在预训练蒸馏上只改了一件事:训练前半段让小模型学生和大模型老师都读加噪/扰动后的文本,学生去匹配老师在扰动输入上的 next-token 预测,之后切回干净文本训练。

所属事件:新研究发现扰动输入可显著提升预训练蒸馏效果(3 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →