新研究:对输入加噪可提升预训练蒸馏效果,数据受限场景同样奏效
DimitrisPapail · x · 2026-11-17
论文《Perturbing Inputs Improves Pretraining Distillation》提出一个简单改动:预训练蒸馏时,让小型学生模型在训练前半段学习匹配教师模型在加噪文本上的 next-token 预测,之后再切回干净文本。
在相同训练步数与 token 预算下,该方法优于标准蒸馏,并且在数据受限、多 epoch 重复数据的设置下同样有效。转发评论给出的直觉解释:自回归生成时模型会出错,加噪让学生模型在预训练阶段就学会自我纠错,使自身生成分布更接近训练分布(与 RL 解决的问题类似,也与信息瓶颈理论相关)。
所属事件:新研究发现扰动输入可显著提升预训练蒸馏效果(3 条相关)→
「研究」频道最新
- 纵向实验:与个性化 LLM 朝夕相处五天,人类行为与信念出现改变 — 996roma · 2026-11-17
- 伯克利 EECS 与统计系联合招聘 AI for Physical Sciences 教职 — berkeley_ai · 2026-11-17
- 折纸结构可充当物理储备池计算,驱动爬行机器人 — cephaloform · 2026-11-17
- 研究:AI Agent 前 6 小时探索最强,58% 任务从未触达最优思路盆地 — AlexGDimakis · 2026-11-17
- 新论文用激活探测恢复蒸馏图像/视频生成器的多样性 — _akhaliq · 2026-11-17
- 扰动输入即可改进预训练蒸馏:新论文重演 mixup 式技巧 — DimitrisPapail · 2026-11-17