arXiv 论文：扩散 LM 预训练成本远低于此前认知
volokuleshov · x · 2026-10-16
- 论文《Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models》（arXiv:2610.17590，Kuleshov 团队）重新审视 DLM 训练算力差距。
- 原引 16x 数字的方法论已过时：用 ELBO 评分、训练全序列 decoder-only 模型。
- 新协议：按模型自身解码顺序的精确似然、block diffusion 训练、encoder-decoder 架构、扫描实际使用的 block size；覆盖 10 个变体、约 1700 个模型。
- 结果：精确似然降至 12.8x；block diffusion + encoder-decoder 在 block size 32 时 7.8x，block size 8 时 4.6x，block size 4 时 3.0x。
- 结论：从零预训练扩散语言模型远比此前认为便宜，并给出最优 decoder 配置的经验规则。
所属事件:康奈尔/亚马逊研究推翻扩散语言模型16倍算力差距迷思(5 条相关)→
「研究」频道最新
- 微软论文：给路由器看会话历史，多轮 Agent 任务成功率多提 3.3 分 — dair_ai · 2026-10-16
- 研究者痛批烂评测泛滥：每个人都该亲手做一次好 eval — gabriberton · 2026-10-16
- 方格渗流连通常数悬而未决，网友称正是 AI 擅长的问题 — tak3sh8 · 2026-10-16
- UC Berkeley 论文：让 agent 学会遗忘，自动研究性能提升至 39% — omarsar0 · 2026-10-16
- ImageNet 该退休了:ImageNet 与文生图方法排名相关性为负 — YouJiacheng · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16