加噪蒸馏为何有效:自回归模型借纠错让生成分布更贴近训练分布
DimitrisPapail · x · 2026-11-17
BlackHC 评论「输入扰动改进预训练蒸馏」的新结果:直觉上,模型自回归生成时会犯错,加噪训练让其在预训练阶段学会自我纠错。他提出假设:这样模型自身的生成会变得不那么 OOD(RL 修复的其实是类似问题),并与信息瓶颈等理论存在联系。与前面同一论文相关,属评论视角补充。
「研究」频道最新
- 弗吉尼亚大学SPARE预印本:线性注意力解码提速2.55倍 — krishnan · 2026-11-17
- 研究估算:当今哲学期刊约 12% 论文可能由 AI 生成 — leland_mcinnes · 2026-11-17
- 伯克利 EECS 与统计系联合招聘 AI for Physical Sciences 教职 — berkeley_ai · 2026-11-17
- 折纸结构可充当物理储备池计算,驱动爬行机器人 — cephaloform · 2026-11-17
- 研究:AI Agent 前 6 小时探索最强,58% 任务从未触达最优思路盆地 — AlexGDimakis · 2026-11-17
- 新论文用激活探测恢复蒸馏图像/视频生成器的多样性 — _akhaliq · 2026-11-17