预训练蒸馏加一点输入噪声反而更优,新论文实测增益显著
DimitrisPapail · x · 2026-11-16
新论文《Perturbing Inputs Improves Pretraining Distillation》由 Jack Cai 与 Yihe Dong、Dimitris Papail、Shivam Garg 合作完成。方法本身改动极小:在预训练蒸馏中,小模型学生要在训练文本上对齐大模型教师的 next-token 预测;论文让训练前半程师生双方都读取加了扰动的文本(如 token 输入加噪),学生去匹配教师在扰动输入上的预测,之后再切回干净文本。
- 在相同的训练步数与 token 预算下,该方法优于标准蒸馏
- 在数据受限、多 epoch 重复数据的设置下同样有效
- 合作者 DimitrisPapail 调侃称「蒸馏时加点噪声就神奇地让一切变好」
「研究」频道最新
- AI/ML 流体力学课程第二期开课:60 小时直播,学费 500 美元 — ricardovinuesa · 2026-11-16
- 研究员断言「为顶会刷论文」已死,转向 GitHub 公开产出 — DimitrisPapail · 2026-11-16
- DeepMind 研究员谈 AI 时代科研路径:降低做酷工作的摩擦 — DimitrisPapail · 2026-11-16
- Google AI Co-Scientist 进展亮相 MLCB 2026,Brenner 主持直播 — anshulkundaje · 2026-11-16
- 新研究提出「自动权重空间编程」:模型学会对自身神经元做 logit lens — udmrzn · 2026-11-16
- 新研究:LLM 只看权重就能预测改动对模型行为的影响 — udmrzn · 2026-11-16