Google 团队证明序列级监督训练 AR 模型存在根本缺陷
mblondel_ml · x · 2026-11-17
Mathieu Blondel 等人的 arXiv 论文线程(见首条完整摘要):teacher forcing 引入 exposure bias,但两种自然的序列级损失(基于贪心解码与 AR 采样)被证明下界无界,直接优化会发散;对采样加 stop gradient 得到理论上合法的 moment matching 下降方向但方差高。结论:teacher forcing 仍是默认,OPD 更好但需教师,序列级训练仍靠 RL。
所属事件:DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷(5 条相关)→
「研究」频道最新
- Zuse 决策模型覆盖 27 种欧洲语言,27B 版准确率达 87.5% — bineric · 2026-11-17
- 哥本哈根招募生物材料×机器智能研究者,12月6日截止 — _onionesque · 2026-11-17
- Templeton 基金会资助 110 万美元打造全球道德观图谱供 AI 对齐使用 — MohammadAtari90 · 2026-11-17
- 开发者构想专用扩散模型集群生成代码:让非法语法根本无法表示 — SubtleGradient · 2026-11-17
- 经济学者发文警告:99% AI 生成论文正冲垮同行评审体系 — Afinetheorem · 2026-11-17
- Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分 — jaseweston · 2026-11-17