DeepMind 论文证明序列级监督损失函数有根本缺陷,提出矩匹配替代方向
mblondel_ml · x · 2026-11-17
Google DeepMind 的 Mathieu Blondel 等人在 arXiv 发布论文《On the Difficulty of Sequence-Level Supervised Learning for Autoregressive Language Models》。
- 问题:自回归 LLM 的监督学习通常用 teacher forcing 下的 token 级交叉熵,存在 exposure bias(训练与推理方式不一致)。能否设计融入推理时解码过程(贪心解码或自回归采样)的序列级损失?
- 核心结论:两种自然尝试都被证明有根本缺陷——损失函数无下界(unbounded below);且两者密切相关:用自回归 Gumbel 技巧,基于采样的损失等价于 Gumbel 扰动下的期望贪心损失。
- 病理根源:解码序列依赖模型参数。作者对采样过程施加 stop gradient 得到更新方向,证明这是一个矩匹配(moment matching)方向——虽不是任何损失函数的梯度,但可证明是自回归负对数似然在函数空间中的有效下降方向。
所属事件:DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷(5 条相关)→
「研究」频道最新
- Zuse 决策模型覆盖 27 种欧洲语言,27B 版准确率达 87.5% — bineric · 2026-11-17
- 哥本哈根招募生物材料×机器智能研究者,12月6日截止 — _onionesque · 2026-11-17
- Templeton 基金会资助 110 万美元打造全球道德观图谱供 AI 对齐使用 — MohammadAtari90 · 2026-11-17
- 开发者构想专用扩散模型集群生成代码:让非法语法根本无法表示 — SubtleGradient · 2026-11-17
- 经济学者发文警告:99% AI 生成论文正冲垮同行评审体系 — Afinetheorem · 2026-11-17
- Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分 — jaseweston · 2026-11-17