零额外算力修复非自回归生成，困惑度最高降63%
kastnerkyle · x · 2026-08-02
非自回归文本生成中的离散流模型常面临一个问题：在上下文仍被掩码时强行预测 token，导致模型盲目猜测并引入大量噪声。
这篇论文提出了一种极其简洁的修复方案：重新加权损失函数并微调采样器，使模型在计算损失前能感知当前可用的局部上下文。该方法几乎不增加任何计算成本，却在 OpenWebText 上将困惑度最高降低了 63%，并最终达到了半自回归模型的性能水平。
「研究」频道最新
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- 学者争论：AI 将超越人类做科学，欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16
- 上海 AI Lab 提出 SERO：用可执行 Oracle 续跑训练长程智能体强化学习 — Shanghai-AI-Laboratory · 2026-10-16
- 清华联手高德发布 OmniVerifier-C1：把二元验证器升级为细粒度打分 — Bowei Liu · 2026-10-16
- 阿里开源 MAI-Gym：移动与桌面 GUI Agent 评测加强化学习训练一体化平台 — Tongyi-MAI · 2026-10-16
- 北大发布 SimForcing：把仿真运动先验蒸馏进真实机器人世界模型 — PekingUniversity · 2026-10-16