经典论文重提：为何最大似然法不适合训练生成模型
gowthami_s · x · 2026-08-08
Ferenc Huszár 在 2015 年发表的论文《How (not) to Train your Generative Model》探讨了生成式模型的训练目标函数。
论文主要贡献包括：
- 批判 Scheduled Sampling：尽管该方法曾助力赢得 2015 年 MSCOCO 图像描述基准测试，但作者证明其目标函数存在根本性缺陷，会导致学习算法不一致。
- 反思最大似然法：当模型目标是生成逼真样本时，最大似然法并非合适的训练目标。
- 理论解释对抗训练：论文推导出了一个理想的训练目标，并引入了对抗训练的泛化形式，首次在理论上解释了为何对抗训练能生成质量更高的样本。
「研究」频道最新
- 开发者反思 o3 训练循环：或存在可预见的退化失败模式 — jd_pressman · 2026-08-08
- AI 安全前沿研究：模型自主黑客行为与对齐失败分析 — gasteigerjo · 2026-08-08
- 本地 RAG 选型：跑分第一的模型未必是最优解 — Cautious_Bit_8521 · 2026-08-08
- 美国能源部启动Genesis计划,联手Arcee打造科学开源模型 — code_star · 2026-08-08
- CoRL 2026 机器人世界模型研讨会公布征稿日程 — mengyer · 2026-08-08
- 亚马逊 1.1 亿美元算力资助计划公布 34 位获奖学者 — ZiyuYao · 2026-08-08