康奈尔与亚马逊研究：扩散语言模型预训练算力差距实为3-8倍而非16倍
LucaAmb · x · 2026-10-16
扩散语言模型（DLM）常被认为预训练低效，广泛流传的说法是需要自回归模型（ARM）16倍的算力才能达到同等似然。Cornell 与 Amazon 的研究团队用约 1700 个模型重新检验了这一结论，发现 16 倍主要源自过时的 scaling law 实验协议（SMDM 的 IsoFLOP 研究用的是全序列 decoder-only 掩码扩散模型加 ELBO 评分）。
在反映当前实践的协议下（精确似然评估、块扩散、encoder-decoder 架构、按实际使用的块大小扫描），差距大幅缩小：
- 精确似然评估（DUEL 替代 ELBO）：降至 12.8×
- 块扩散 + encoder-decoder（BD3LM/E2D2，块大小 32）：降至 7.8×
- 更小块大小：块 8 时 4.6×，块 4 时仅 3.0×
研究还给出一个仅依赖块大小的 encoder-decoder 块扩散最优 decoder 深度经验规则，并在比最大拟合预算大 3 倍的 held-out 预算上验证差距依然成立，似然提升也能传导到下游基准准确率。结论：DLM 预训练远比此前认为的便宜。
「模型」频道最新
- 最快的 GPU kernel 会被 AI 写出来吗?发帖人称验证条件近乎完美 — fleetwood___ · 2026-10-16
- Scale AI 发布 muse spark open:816B 参数、1M 上下文,称最强美国开源模型 — jiayi_pirate · 2026-10-16
- NVIDIA 上架 Qwen3.8-Flash-Next FP4 量化版，未发布新模型意外曝光 — TheZachMueller · 2026-10-16
- 号称最强美国开源模型 Muse Spark Open 上线 Nebius 首日支持 — Arindam_1729 · 2026-10-16
- 热门模型连续一周容量告急，用户吐槽换回 Opus — joonasvirtanen · 2026-10-16
- Sentry CEO 谈企业报销 Claude 订阅：合规但雇主多因 ZDR 不愿 — zeeg · 2026-10-16