扩散草稿脱离目标隐藏态,Qwen3-32B 七项平均加速 5.71 倍

D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding

Baoyou Chen, Ruiqiao Mei, Guancong Lin, Tao Song, Weihao Yuan, Qun Liu, Siyu Zhu

cs.AI, cs.LG

2026-11-04

D3D 用块去噪加自回归监督训练不读目标隐藏态的扩散草稿,并在验证时准备下一块,于 Qwen3-8B 与 32B 上取得七项平均 5.00 倍和 5.71 倍加速,高于 DFlash 的 4.03 倍和 3.67 倍。

这篇在解决什么

投机解码让小模型先写一段候选 token,目标模型再并行验证。接受规则用拒绝采样时,输出分布与目标模型自己解码一致。加速比取决于接受多长、草稿多慢、验证多贵。

DFlash 用扩散模型一次前向写出整块候选,但下一块要等目标模型刚更新的隐藏状态。验证没跑完,草稿就不能开工。块内是并行的,轮与轮仍是串行。草稿加深往往拉长接受,多出来的延迟又把这部分收益吃掉。

方法

D3D 是一个独立的扩散草稿,推理时不读目标隐藏态。它只看已经确定的 token 前缀,自己编码,一次前向预测一块。验证还在进行时,它可以把「中途被拒」和「整块接受」的后继块打进同一次前向,事先写好。

训练从预训练自回归模型初始化。提示取自 Open-PerfectBlend 的 142 万条指令,回答由对应目标模型在非思考模式下重新生成,目标对齐训练约 3 个 epoch、360 GPU 时。每个回答随机抽锚点,锚点 token 保留,其后 B-1 个位置盖上掩码,块内双向注意力一次预测。前缀按因果注意力共享计算,多个块打包,避免重算前缀。验证会停在第一处拒绝,位置权重沿用 DFlash 的指数衰减,靠前的 token 更重。

掩码去噪之外,加一项辅助自回归损失,在未掩码回答上做 next-token 预测,总损失是两者相加,λ 取 1。只做去噪时,预训练带来的逐 token 能力会弱。消融里 λ=1 比 λ=0 在四项基准上把接受长度提高 0.24 到 0.40 个 token,λ=1.5 不再提高。

剪层只看接受长度,也就是每轮验证实际留下多少 token,语言建模分数不参与排序。每轮去掉对验证集接受长度伤害最小的一层,再用未剪草稿蒸馏恢复,恢复后重新衡量各层。教师分布会稍向监督 token 混合,免得教师最自信的词和标签不是同一个。以 Qwen3-8B 为目标,36 层去掉 5 层,在 MATH-500、HumanEval、MT-Bench 上平均接受长度保留 99% 以上,这三项的平均加速从 4.44 倍升到 4.69 倍。31 层是测过的深度里最快的一点,再剪则接受长度和加速一起降。

主实验取 B=16、位置覆盖 C=12、每个拒绝位置 F=2 个备选锚点,一次打包 384 个 token 位置。备选锚点是草稿分布里、排除已提议 token 之后最可能的两个。缓存命中就复用该分支剩余草稿。未命中则同步再起草一块。打包草稿不慢于目标验证时,这一轮的草稿时间被验证盖住。

结果

草稿是从 Qwen3-8B 初始化、剪到 31 层的 D3D-8B,按各自目标生成的回答分别训练。目标为 Qwen3-8B 和 Qwen3-32B。七项基准覆盖数学、代码和对话,贪心解码。τ 是每轮新增的输出 token,含目标模型补上的那一个。DFlash、PARD-2 与 D3D 的块长都是 16,EAGLE-3 与 DSpark 是 8。

目标方法平均加速平均 τ
Qwen3-8BD3D5.00×7.88
Qwen3-8BDSpark4.44×5.59
Qwen3-8BPARD-24.08×5.62
Qwen3-8BDFlash4.03×5.96
Qwen3-8BEAGLE-32.88×4.56
Qwen3-32BD3D5.71×7.73
Qwen3-32BDSpark3.92×5.48
Qwen3-32BPARD-23.88×5.38
Qwen3-32BDFlash3.67×4.82
Qwen3-32BEAGLE-33.46×5.08

两个目标上,D3D 的 τ 在七项里都长于上表方法和 SSD。32B 的 GSM8K 达到 7.48 倍,τ=9.58,同设置 DFlash 为 4.46 倍、τ=5.72。8B 上 D3D 五项加速最高。LiveCodeBench 与 DSpark 同为 4.44 倍。MT-Bench 上 DSpark 为 3.17 倍,D3D 为 2.68 倍,虽然 τ 是 5.71 对 3.82。32B 的 MT-Bench 也只比 DFlash 高 0.01 倍(3.01 对 3.00),τ 则是 5.65 对 3.89。对话的 τ 最短,加速也最低,多接受的 token 没有变成同样幅度的墙钟收益。同为异步的 SSD,在 8B 上平均只有 1.84 倍。

并发用的是更小的 D3D-1.7B 配 Qwen3-32B。MATH-500 从 1 路 154 token/s(6.1 倍)到 16 路 864 token/s(2.7 倍)。HumanEval、MT-Bench 同样是吞吐上升、相对加速下降。

预训练初始化在 GSM8K 末期 τ 约 9.8,随机初始化约 4.5。AIME25 上 C=12、F=2 加速约 5.0 倍,命中率 71.3%。C 增到 16,命中率 78.3%,加速下降,因为每次打包都在为用不到的分支付钱。

为什么重要

拒绝采样还在,输出分布仍与目标模型自己解码一致。调度变了:草稿不再向目标要隐藏态,验证当前块和准备下一块可以重叠。

目标越大,验证越贵,同一份草稿越容易被藏进验证时间。相对表中平均加速最高的基线,8B 高 12.6%(5.00 对 DSpark 的 4.44),32B 高 45.7%(5.71 对 3.92)。这份从 Qwen3-8B 剪来的草稿,配 32B 目标比配 8B 目标更划算。

相对 DFlash,这是系统上的渐进改进。块生成已经有了,D3D 拿掉隐藏态依赖,再按接受长度剪层,把更长的 τ 做成墙钟。PARD-2 也能脱离目标特征做异步推断。8B 的 GSM8K 上 D3D 是 6.71 倍,PARD-2 是 6.16 倍。HumanEval 上是 5.19 倍对 3.95 倍。

局限与存疑

硬件不对称。D3D、SSD、PARD-2 用两张 H800,目标一张、草稿一张。DFlash、DSpark、EAGLE-3 在一张卡上。论文没有报告每卡吞吐,也没有和「两张卡做张量并行、不加草稿」比。8B 目标配一个从 Qwen3-8B 只剪掉 5 层的草稿,多出来的显存不是免费的。

缓存未命中时必须同步补草稿,这一轮的重叠就没了。后端是 Transformers,不是 SGLang 或 vLLM。主结果只有贪心、非思考模式。采样解码和其他模型家族没有数字。

保留 99% 接受长度,只在 Qwen3-8B、三项基准上给出。主表 5.00 倍和 5.71 倍已是 31 层草稿的成绩,未剪版本的七项端到端加速没有单独列出。

术语

原文与代码

社区讨论

相关论文

全部论文解读