DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷
Google DeepMind 研究员 Mathieu Blondel 等人于 11 月 17 日在 arXiv 发布论文《On the Difficulty of Sequence-Level Supervised Learning for Autoregressive Models》,系统论证了自回归模型的序列级监督训练存在根本性困难。
已确认
- 论文出发点:teacher forcing 训练引入 exposure bias,而序列级监督是自然的替代思路,但作者证明其存在根本缺陷。
- 两种自然的序列级损失构造——基于贪心解码与基于自回归采样——均被证明下界无界,直接优化会导致模型发散。
- 两种损失可通过自回归 Gumbel trick 相互关联。
- 由于病理性源自采样过程对模型参数的依赖,作者分析对采样施加 stop gradient 后的效果,得到一个理论上站得住的「moment matching(矩匹配)」更新方向,但实践中方差很高。
为什么重要
- 该结果为「为什么不能简单地把序列级损失直接套在 AR 模型上做梯度训练」给出了理论解释,对语音、语言等自回归生成模型的训练范式选择有直接参考价值;同时作者指出的矩匹配方向虽方差高,也为后续算法改进提供了线索。
以上信息均来自 Blondel 本人在 X 上发布的论文解读线程(m1–m3 为同一线程的各部分,m4、m5 为转述)。
2026-11-17 ~ 2026-11-17 · 5 条相关
一手来源
- Google 团队证明序列级监督训练 AR 模型存在根本缺陷 — mblondel_ml ·
- 序列级损失无下界:贪心解码与 AR 采样损失均会致模型发散 — mblondel_ml ·
- 对采样加 stop gradient 得到力矩匹配方向:理论成立但方差高 — mblondel_ml ·
- 【源头】Google 团队证明序列级监督训练 AR 模型存在根本缺陷 — mblondel_ml · 2026-11-17
- 【源头】序列级损失无下界:贪心解码与 AR 采样损失均会致模型发散 — mblondel_ml · 2026-11-17
- 【源头】对采样加 stop gradient 得到力矩匹配方向:理论成立但方差高 — mblondel_ml · 2026-11-17
- DeepMind 论文证明序列级监督损失函数有根本缺陷,提出矩匹配替代方向 — mblondel_ml · 2026-11-17
另有 1 条近重复转述:mblondel_ml