序列级损失无下界:贪心解码与 AR 采样损失均会致模型发散
mblondel_ml · x · 2026-11-17
Blondel 等人论文线程的第二部分:基于贪心解码与自回归采样的两种自然序列级损失构造被证明下界无界,直接优化会导致模型发散;两者可通过自回归 Gumbel trick 相互关联。完整分析见线程首条。
所属事件:DeepMind 论文证明 AR 模型序列级监督损失存在根本缺陷(5 条相关)→
「研究」频道最新
- Zuse 决策模型覆盖 27 种欧洲语言,27B 版准确率达 87.5% — bineric · 2026-11-17
- 哥本哈根招募生物材料×机器智能研究者,12月6日截止 — _onionesque · 2026-11-17
- Templeton 基金会资助 110 万美元打造全球道德观图谱供 AI 对齐使用 — MohammadAtari90 · 2026-11-17
- 开发者构想专用扩散模型集群生成代码:让非法语法根本无法表示 — SubtleGradient · 2026-11-17
- 经济学者发文警告:99% AI 生成论文正冲垮同行评审体系 — Afinetheorem · 2026-11-17
- Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分 — jaseweston · 2026-11-17