Google 团队证明序列级监督训练 AR 模型存在根本缺陷

mblondel_ml · x · 2026-11-17

Mathieu Blondel 等人的 arXiv 论文线程(见首条完整摘要):teacher forcing 引入 exposure bias,但两种自然的序列级损失(基于贪心解码与 AR 采样)被证明下界无界,直接优化会发散;对采样加 stop gradient 得到理论上合法的 moment matching 下降方向但方差高。结论:teacher forcing 仍是默认,OPD 更好但需教师,序列级训练仍靠 RL。

所属事件:DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷(5 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →