Blurring the Block Boundaries: Overlapping Block Denoising for Efficient Diffusion Language Models
Amir Mann, Jonathan Fhima, Shaked Brody, Or Avitan, Asif Zamir, Shahar Tsiper, Niv Nayman
cs.CL, cs.AI
2026-11-11
免训练方法 B3 让扩散语言模型相邻两块共享同一次前向并行去噪,三个 SOTA 模型推理提速 11.5–14.5%,三模型平均准确率只动 +0.03pp。
扩散语言模型(DLM)把生成当成逐步去噪,每次前向能并行预测多个 token,延迟上比自回归模型有优势。当前主流是块扩散(block diffusion):输出切成定长块,块内双向注意力,块间因果,已生成前缀的注意力状态(KV cache)精确保存,逐块往后推。SOTA 模型还带 self-editing,一个块要反复打磨到最慢的 token 被接受才算完。
浪费在块的收尾。收尾阶段每轮前向只接受零星几个 token,而一次前向的计算量不因接受多少而变,下一块的容易 token 只能排队。DiffusionGemma 26B 在 HumanEval+ 上实测:块边界的低接受率区域花掉 40% 的步数,只产出 17% 的 token;单看每块最后 20%,占 22% 步数,只出 10% 的 token。纯结构性浪费,与模型能力无关,附录显示该规律跨模型、跨数据集成立。
B3 把边界「糊掉」:当前块足够稳之后,提前初始化下一块,两块共享同一次前向并行去噪,直到当前块交付。三个关键设计。
零训练、零超参,改 sampler 即插即用。
三个模型(DiffusionGemma 26B、LLaDA 2.1 mini 16B、LLaDA 2.1 flash 100B)× 10 个 benchmark(GSM8K、MATH500、AIME26、HumanEval+、LiveCodeBench 等,覆盖数学、代码、推理、指令遵循):
| 模型 | TPS | TPF | 平均准确率 |
| DiffusionGemma 26B | +11.5% | +19.4% | −0.40pp |
| LLaDA 2.1 flash 100B | +13.6% | +15.9% | +0.76pp |
| LLaDA 2.1 mini 16B | +14.5% | +16.3% | −0.28pp |
30 个模型-benchmark 组合的 TPS 与 TPF 全部为正,三模型平均准确率变化 +0.03pp,没有任何逐模型或逐任务的调参。
两个对照。加大块大小这条朴素路线追不上:DiffusionGemma 块大小 256 配 B3 提速 12%,基线要到块大小 384 以上才有同速度,准确率至少掉 4.0pp,B3 只掉 0.4pp。与同期 FlowBlock、MBD-LMs(都按数据集调阈值)在 LLaDA mini 上比,块大小 32 与 64 下 B3 都最快,块 32 时分别准 1.7pp 和 2.1pp;这两个方法不支持 DiffusionGemma 这类 USDM,B3 支持。
DLM 当下最大的卖点就是快,B3 不训任何东西、不掉点,白拿 11.5–14.5% 吞吐,推进延迟-质量的 Pareto 前沿(又快又好配置的最优边界)。线上跑 LLaDA 2.1 或 DiffusionGemma 的人,改个 sampler 就能用。「块边界接受率塌陷」这个测量本身也值得记住,它是块扩散推理里一个明确的浪费源,后续加速工作绕不开。