康奈尔/亚马逊研究推翻扩散语言模型16倍算力差距迷思
康奈尔与亚马逊的研究团队（Kuleshov 等）发布论文《Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models》（arXiv:2610.17590），推翻了「扩散语言模型（DLM）需要自回归模型16倍训练算力才能达到同等似然」的行业共识：在按当今 DLM 实际部署方式测量时，差距实际仅为 3-8 倍。这一修正显著改善了扩散语言模型在预训练效率上的形象，值得关注该架构的人重新评估。
已确认
- 团队用约 1700 个模型重新拟合 scaling 结论，论文编号为 arXiv:2610.17590。
- 原 16x 数字来自过时设定：基于 ELBO 评分（非精确似然）且假设全序列 decoder-only 掩码模型。
- 四项改动逐项压缩差距：改用精确似然评估（DUEL）从 17.8x 降至 12.8x，再经 9.6x、7.8x，配合实用块大小的 block diffusion，block size 降到 4 时差距降至 3.0x。
- 拟合在超出拟合范围 3 倍的 held-out 预算上依然成立，zero-shot 准确率与似然排名结果一致。
为什么重要
- 16x 算力差距是此前质疑扩散语言模型预训练可行性的核心论据，修正为 3-8 倍（最优 3.0x）后，DLM 与自回归模型的成本差距不再构成根本性障碍。
- 研究结论与当前 DLM 实际部署方式（块扩散、encoder-decoder、精确似然评估）对齐，比旧结论更贴近工程现实。
2026-10-16 ~ 2026-10-16 · 5 条相关
一手来源
- 研究称扩散语言模型算力劣势实为 3-8 倍而非 16 倍 — volokuleshov ·
- 逐项量化：扩散 LM 算力差距从 17.8x 一路降到 3.0x — volokuleshov ·
- arXiv 论文：扩散 LM 预训练成本远低于此前认知 — volokuleshov ·
- 康奈尔与亚马逊研究：扩散语言模型预训练算力差距实为3-8倍而非16倍 — LucaAmb · 2026-10-16
- 【源头】研究称扩散语言模型算力劣势实为 3-8 倍而非 16 倍 — volokuleshov · 2026-10-16
- 拆解 16x 迷思：四项改动逐一压缩扩散 LM 算力差距 — volokuleshov · 2026-10-16
- 【源头】逐项量化：扩散 LM 算力差距从 17.8x 一路降到 3.0x — volokuleshov · 2026-10-16
- 【源头】arXiv 论文：扩散 LM 预训练成本远低于此前认知 — volokuleshov · 2026-10-16