扩散语言模型块边界空转:40% 步数只出 17% token,B3 免训练提速 14.5%

Blurring the Block Boundaries: Overlapping Block Denoising for Efficient Diffusion Language Models

Amir Mann, Jonathan Fhima, Shaked Brody, Or Avitan, Asif Zamir, Shahar Tsiper, Niv Nayman

cs.CL, cs.AI

2026-11-11

免训练方法 B3 让扩散语言模型相邻两块共享同一次前向并行去噪,三个 SOTA 模型推理提速 11.5–14.5%,三模型平均准确率只动 +0.03pp。

这篇在解决什么

扩散语言模型(DLM)把生成当成逐步去噪,每次前向能并行预测多个 token,延迟上比自回归模型有优势。当前主流是块扩散(block diffusion):输出切成定长块,块内双向注意力,块间因果,已生成前缀的注意力状态(KV cache)精确保存,逐块往后推。SOTA 模型还带 self-editing,一个块要反复打磨到最慢的 token 被接受才算完。

浪费在块的收尾。收尾阶段每轮前向只接受零星几个 token,而一次前向的计算量不因接受多少而变,下一块的容易 token 只能排队。DiffusionGemma 26B 在 HumanEval+ 上实测:块边界的低接受率区域花掉 40% 的步数,只产出 17% 的 token;单看每块最后 20%,占 22% 步数,只出 10% 的 token。纯结构性浪费,与模型能力无关,附录显示该规律跨模型、跨数据集成立。

方法

B3 把边界「糊掉」:当前块足够稳之后,提前初始化下一块,两块共享同一次前向并行去噪,直到当前块交付。三个关键设计。

零训练、零超参,改 sampler 即插即用。

结果

三个模型(DiffusionGemma 26B、LLaDA 2.1 mini 16B、LLaDA 2.1 flash 100B)× 10 个 benchmark(GSM8K、MATH500、AIME26、HumanEval+、LiveCodeBench 等,覆盖数学、代码、推理、指令遵循):

模型TPSTPF平均准确率
DiffusionGemma 26B+11.5%+19.4%−0.40pp
LLaDA 2.1 flash 100B+13.6%+15.9%+0.76pp
LLaDA 2.1 mini 16B+14.5%+16.3%−0.28pp

30 个模型-benchmark 组合的 TPS 与 TPF 全部为正,三模型平均准确率变化 +0.03pp,没有任何逐模型或逐任务的调参。

两个对照。加大块大小这条朴素路线追不上:DiffusionGemma 块大小 256 配 B3 提速 12%,基线要到块大小 384 以上才有同速度,准确率至少掉 4.0pp,B3 只掉 0.4pp。与同期 FlowBlock、MBD-LMs(都按数据集调阈值)在 LLaDA mini 上比,块大小 32 与 64 下 B3 都最快,块 32 时分别准 1.7pp 和 2.1pp;这两个方法不支持 DiffusionGemma 这类 USDM,B3 支持。

为什么重要

DLM 当下最大的卖点就是快,B3 不训任何东西、不掉点,白拿 11.5–14.5% 吞吐,推进延迟-质量的 Pareto 前沿(又快又好配置的最优边界)。线上跑 LLaDA 2.1 或 DiffusionGemma 的人,改个 sampler 就能用。「块边界接受率塌陷」这个测量本身也值得记住,它是块扩散推理里一个明确的浪费源,后续加速工作绕不开。

局限与存疑

术语

原文与代码

社区讨论

相关论文

全部论文解读