约1700个模型实证:扩散LLM预训练算力差距仅3-8倍,新方法再提效4倍
rbhar90 · x · 2026-10-16
- 扩散语言模型(DLM)一直被认为预训练低效,常见说法是需要自回归模型 16 倍算力 才能达到同等似然。
- 研究团队用约 1700 个模型 系统重测后发现:在当前 DLM 实践下,实际差距只有 3-8 倍,并非 16 倍。
- 新工作的核心思路是「按推理时的用法来训练和评估 dLLM」:不做全序列 masked likelihood,而是采用 block diffusion + 编码器-解码器架构,并直接使用推理时的采样器,预训练效率最高提升 4 倍。
所属事件:扩散语言模型预训练算力差距实为3-8倍而非16倍(6 条相关)→
「研究」频道最新
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18
- SGPnP 论文获 IEEE 接收：扩散模型直插 PnP 重建框架 — prof_kamilov · 2026-10-18
- Stanford 教授 Surya Ganguli 长讲：从统计物理溯源 Scaling Laws — burny_tech · 2026-10-18
- Domingos：叠加是特性而非缺陷，不损可解释性反增记忆容量 — pmddomingos · 2026-10-18