Block Diffusion 论文:分块扩散兼具并行生成与 KV 缓存
alec_helbling · x · 2026-09-11
作者分享 ICLR 2025 Oral 论文 Block Diffusion（arXiv:2503.09573），在自回归与扩散语言模型之间做插值。
核心问题与方案：
- 扩散语言模型可并行生成多个 token、可控性好，但似然建模弱且只能固定长度生成；迭代式逐步 unmask 还会反复更新 token 状态，限制 KV-cache 复用。
- Block Diffusion 让模型从左到右逐块解码、块内并行生成，恢复了高效的 KV 缓存，同时支持任意长度生成。
- 论文给出完整配方：高效训练算法、梯度方差估计器、数据驱动的噪声调度来压低方差。
效果：在扩散模型中创下语言建模基准新 SOTA，支持任意长度序列生成。代码、模型权重与博客均已开源。
所属事件:Block Diffusion：扩散语言模型高效复用 KV 缓存(2 条相关)→
「研究」频道最新
- Mandelbrot 集拼图结构在 Lean 中完成形式化计算,实拍级图表曝光 — geoffreyirving · 2026-10-28
- Geoffrey Irving 对 CSETH 突破给出 >80% 概率预测 — geoffreyirving · 2026-10-28
- 抗衰研究数据荒：Norn 募资 1500 万美元为 AI 备好训练数据 — juanbenet · 2026-10-28
- 研究员自曝置信度乌龙：把 SETH 当 CSETH，重估 P vs NP 赔率 — geoffreyirving · 2026-10-28
- Google 论文指出 softmax 标准实现藏两个数值 bug，引发形式验证讨论 — srush_nlp · 2026-10-28
- AI 提出的研究题 45/135 获专家认可有趣，覆盖数学物理等 — StanfordAILab · 2026-10-28