Block Diffusion 论文:分块扩散兼具并行生成与 KV 缓存
alec_helbling · x · 2026-09-11
作者分享 ICLR 2025 Oral 论文 Block Diffusion（arXiv:2503.09573），在自回归与扩散语言模型之间做插值。
核心问题与方案：
- 扩散语言模型可并行生成多个 token、可控性好，但似然建模弱且只能固定长度生成；迭代式逐步 unmask 还会反复更新 token 状态，限制 KV-cache 复用。
- Block Diffusion 让模型从左到右逐块解码、块内并行生成，恢复了高效的 KV 缓存，同时支持任意长度生成。
- 论文给出完整配方：高效训练算法、梯度方差估计器、数据驱动的噪声调度来压低方差。
效果：在扩散模型中创下语言建模基准新 SOTA，支持任意长度序列生成。代码、模型权重与博客均已开源。
所属事件:Block Diffusion：扩散语言模型高效复用 KV 缓存(2 条相关)→
「研究」频道最新
- 哈佛研究员用果蝇大脑连接组交易比特币，1.5 天跑赢 ML 模型 — Scobleizer · 2026-09-12
- 8 个 LLM 与 1.8 万人对比:模型会做难题却常缺失基础知识结构 — rohanpaul_ai · 2026-09-12
- 88 题自改进基准 RSI-Exam 开放 35 题,被看好接棒 SWE-bench — cihangxie · 2026-09-12
- ETH Zurich 等发布 SuperFlex：可变形超二次曲面分解点云，比 Marching Primitives 快万倍 — orlitany · 2026-09-12
- 合成形态学新科学:非物理主义心灵模型如何被实证研究 — ZeroStateReflex · 2026-09-12
- Apple 提出 IVT：模型学会「预见未来」却不画出来，推理快约 5 倍 — jiqizhixin · 2026-09-12