加噪蒸馏为何有效:自回归模型借纠错让生成分布更贴近训练分布

DimitrisPapail · x · 2026-11-17

BlackHC 评论「输入扰动改进预训练蒸馏」的新结果:直觉上,模型自回归生成时会犯错,加噪训练让其在预训练阶段学会自我纠错。他提出假设:这样模型自身的生成会变得不那么 OOD(RL 修复的其实是类似问题),并与信息瓶颈等理论存在联系。与前面同一论文相关,属评论视角补充。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →