约 1700 个模型复测：扩散 LM 算力差距仅 3-8 倍，非传言的 16 倍
LucaAmb · x · 2026-10-18
Guanghan Wang 等人的新论文用约 1700 个模型系统性重测了扩散语言模型（DLM）的 scaling law，推翻了一个流传甚广的说法：DLM 预训练需要自回归（AR）模型 16 倍算力才能达到同等 likelihood。
关键发现
- 按当前 DLM 训练配方，实际差距只有 3-8 倍，而非 16 倍；Gilad Turok 转述称最好配方下已缩至约 3 倍。
- 团队此前的 DUEL 工作是关键：用精确 likelihood 替代 ELBO 估计，可弥合约 30% 的差距。
这项工作显著改善了 DLM 作为 AR 模型替代方案的训练效率预期。
「研究」频道最新
- 哈佛 CS249r 机器学习系统教材开源,GitHub 星标已达 2.91 万 — mdancho84 · 2026-10-18
- 25 人跨学科工作论文探讨全面暂停前沿 AI 训练的可行性与时长 — wfithian · 2026-10-18
- AI 数据科学助力考古学,复原历史上流行病的传播轨迹 — ArtificialOther · 2026-10-18
- AdamW 一作 Loshchilov 开推,权重衰减缩放规则早已写在原始论文里 — SeunghyunSEO7 · 2026-10-18
- Domingos 重提旧论:梯度下降学到的模型都近似核机器 — pmddomingos · 2026-10-18
- 科学家提议用 AI 对审稿意见做事实核查实验 — OdedRechavi · 2026-10-18