解码方式能搬动13个点：扩散检索劣势并非范式本身
_reachsumit · x · 2026-10-07
这篇 arXiv 论文质疑「扩散模型优于/劣于自回归」的简单结论：近期把自回归解码器换成 diffusion 的生成式检索工作，往往同时改了标识符(identifier)、训练配方和解码方式，性能差异无法归因于范式本身。
作者在 NQ320K 和 MS300K 上，固定标识符长度与训练预算，训练了自回归、masked-diffusion、block-diffusion 三种模型，并搭配残差量化、乘积量化和随机三种标识符，再用多种方式解码。关键发现：
- 仅换解码方式就能让扩散模型的 Hit@1 变动 6.613.7 个点，说明文献里报告的差距相当部分来自解码而非范式。
- 提出参考解码法 generate-and-match(生成标识符后检索语料库中最接近者)：生成标识符对 14-21% 的 NQ320K 查询是正确的。
- 提出 one-pass scoring：模型一次性读取全掩码标识符，按各文档编码概率打分；在 12 个设置中有 11 个追平或超过 generate-and-match。从单次采样标识符出发，one-pass scoring 能消除 masked diffusion 相对 beam search 劣势的 46-83%。
- 自回归模型在 Hit@1 上仍领先；在 NQ320K 上这一领先来自模型本身而非 beam search。
- 在 NQ320K 上各范式基本是在背住「哪个标识符回答哪个查询」——随机标识符仍能保留残差量化标识符 83-90% 的 Hit@1。
「研究」频道最新
- Fractal Frontier:AI 或将证明世界远比人类偏好更有序 — IgorCarron · 2026-10-07
- BVB 基准:让 Agent 用 Blender 程序化重建真实视频来检验理解力 — RexDouglass · 2026-10-07
- DeepMind 发布 AlphaProtein Novo,可从零设计全新酶催化自然界没有的反应 — Scobleizer · 2026-10-07
- 安全研究者翻出 2025 年演讲旧预测:竟提前命中 ExploitGym 及其问题 — moyix · 2026-10-07
- OpenAI 新数学仓库或夯实磁等离子体研究,候选成果瞄准 Vlasov-Maxwell 方程 — johnseach · 2026-10-07
- 数学外包给 OpenAI 后，经济学研究格局将如何重排 — RexDouglass · 2026-10-07