序列级损失无下界:贪心解码与 AR 采样损失均会致模型发散

mblondel_ml · x · 2026-11-17

Blondel 等人论文线程的第二部分:基于贪心解码与自回归采样的两种自然序列级损失构造被证明下界无界,直接优化会导致模型发散;两者可通过自回归 Gumbel trick 相互关联。完整分析见线程首条。

所属事件:DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷(5 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →