Google 团队证明序列级监督训练 AR 模型存在根本缺陷
mblondel_ml · x · 2026-11-17
Google DeepMind 研究员 Mathieu Blondel 等人发布 arXiv 论文《On the Difficulty of Sequence-Level Supervised Learning for Autoregressive Language Models》,系统研究用序列级损失替代 teacher forcing 来解决 AR 语言模型的 exposure bias 问题。
核心发现:
- 基于贪心解码和自回归采样两种最自然的序列级损失构造都被证明下界无界(unbounded below),直接优化会导致模型发散;两者可通过自回归 Gumbel trick 建立联系——采样版损失等价于 Gumbel 扰动下的期望贪心损失。
- 病根在于解码序列对模型参数的依赖。作者对采样过程施加 stop gradient,得到一个「moment matching」更新方向:它虽不是任何损失的梯度,但被证明是自回归负对数似然在函数空间中的合法下降方向,不过实践中方差很高。
作者给出的结论:
- teacher forcing 仍是事实上的默认训练策略;
- on-policy distillation(OPD)是解决 exposure bias 的更好路径,但需要一个教师模型;
- 真正的序列级训练仍要靠 RL,但需要奖励函数或奖励模型。
所属事件:DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷(5 条相关)→
「模型」频道最新
- Claude Code 周额度告急:重度用户全 Opus 只撑两天用掉 53% — Inevitable_Truth_85 · 2026-11-17
- SenseNova Loop 9B 曝称比肩 Qwen3 27B,GPU 版明日发布 — MeinDruckerSpinnt · 2026-11-17
- SenseNova Loop 9B 上架 Hugging Face,9B 剑指 27B 级能力 — Marcuss2 · 2026-11-17
- AA 人格榜:Gemini 4 Argon 最爱用比喻,GPT-3.5 Turbo 几乎为零 — ArtificialAnlys · 2026-11-17
- ICML 研究:用高加索阿尔巴尼亚文造反事实,11 个前沿模型不懂编程语义 — jessyjli · 2026-11-17
- Harness Adapters发布:LoRA让Qwen3.8-27B在Pi上解题率翻倍 — LysandreJik · 2026-11-17