D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding
Baoyou Chen, Ruiqiao Mei, Guancong Lin, Tao Song, Weihao Yuan, Qun Liu, Siyu Zhu
cs.AI, cs.LG
2026-11-04
D3D 用块去噪加自回归监督训练不读目标隐藏态的扩散草稿,并在验证时准备下一块,于 Qwen3-8B 与 32B 上取得七项平均 5.00 倍和 5.71 倍加速,高于 DFlash 的 4.03 倍和 3.67 倍。
投机解码让小模型先写一段候选 token,目标模型再并行验证。接受规则用拒绝采样时,输出分布与目标模型自己解码一致。加速比取决于接受多长、草稿多慢、验证多贵。
DFlash 用扩散模型一次前向写出整块候选,但下一块要等目标模型刚更新的隐藏状态。验证没跑完,草稿就不能开工。块内是并行的,轮与轮仍是串行。草稿加深往往拉长接受,多出来的延迟又把这部分收益吃掉。
D3D 是一个独立的扩散草稿,推理时不读目标隐藏态。它只看已经确定的 token 前缀,自己编码,一次前向预测一块。验证还在进行时,它可以把「中途被拒」和「整块接受」的后继块打进同一次前向,事先写好。
训练从预训练自回归模型初始化。提示取自 Open-PerfectBlend 的 142 万条指令,回答由对应目标模型在非思考模式下重新生成,目标对齐训练约 3 个 epoch、360 GPU 时。每个回答随机抽锚点,锚点 token 保留,其后 B-1 个位置盖上掩码,块内双向注意力一次预测。前缀按因果注意力共享计算,多个块打包,避免重算前缀。验证会停在第一处拒绝,位置权重沿用 DFlash 的指数衰减,靠前的 token 更重。
掩码去噪之外,加一项辅助自回归损失,在未掩码回答上做 next-token 预测,总损失是两者相加,λ 取 1。只做去噪时,预训练带来的逐 token 能力会弱。消融里 λ=1 比 λ=0 在四项基准上把接受长度提高 0.24 到 0.40 个 token,λ=1.5 不再提高。
剪层只看接受长度,也就是每轮验证实际留下多少 token,语言建模分数不参与排序。每轮去掉对验证集接受长度伤害最小的一层,再用未剪草稿蒸馏恢复,恢复后重新衡量各层。教师分布会稍向监督 token 混合,免得教师最自信的词和标签不是同一个。以 Qwen3-8B 为目标,36 层去掉 5 层,在 MATH-500、HumanEval、MT-Bench 上平均接受长度保留 99% 以上,这三项的平均加速从 4.44 倍升到 4.69 倍。31 层是测过的深度里最快的一点,再剪则接受长度和加速一起降。
主实验取 B=16、位置覆盖 C=12、每个拒绝位置 F=2 个备选锚点,一次打包 384 个 token 位置。备选锚点是草稿分布里、排除已提议 token 之后最可能的两个。缓存命中就复用该分支剩余草稿。未命中则同步再起草一块。打包草稿不慢于目标验证时,这一轮的草稿时间被验证盖住。
草稿是从 Qwen3-8B 初始化、剪到 31 层的 D3D-8B,按各自目标生成的回答分别训练。目标为 Qwen3-8B 和 Qwen3-32B。七项基准覆盖数学、代码和对话,贪心解码。τ 是每轮新增的输出 token,含目标模型补上的那一个。DFlash、PARD-2 与 D3D 的块长都是 16,EAGLE-3 与 DSpark 是 8。
| 目标 | 方法 | 平均加速 | 平均 τ |
| Qwen3-8B | D3D | 5.00× | 7.88 |
| Qwen3-8B | DSpark | 4.44× | 5.59 |
| Qwen3-8B | PARD-2 | 4.08× | 5.62 |
| Qwen3-8B | DFlash | 4.03× | 5.96 |
| Qwen3-8B | EAGLE-3 | 2.88× | 4.56 |
| Qwen3-32B | D3D | 5.71× | 7.73 |
| Qwen3-32B | DSpark | 3.92× | 5.48 |
| Qwen3-32B | PARD-2 | 3.88× | 5.38 |
| Qwen3-32B | DFlash | 3.67× | 4.82 |
| Qwen3-32B | EAGLE-3 | 3.46× | 5.08 |
两个目标上,D3D 的 τ 在七项里都长于上表方法和 SSD。32B 的 GSM8K 达到 7.48 倍,τ=9.58,同设置 DFlash 为 4.46 倍、τ=5.72。8B 上 D3D 五项加速最高。LiveCodeBench 与 DSpark 同为 4.44 倍。MT-Bench 上 DSpark 为 3.17 倍,D3D 为 2.68 倍,虽然 τ 是 5.71 对 3.82。32B 的 MT-Bench 也只比 DFlash 高 0.01 倍(3.01 对 3.00),τ 则是 5.65 对 3.89。对话的 τ 最短,加速也最低,多接受的 token 没有变成同样幅度的墙钟收益。同为异步的 SSD,在 8B 上平均只有 1.84 倍。
并发用的是更小的 D3D-1.7B 配 Qwen3-32B。MATH-500 从 1 路 154 token/s(6.1 倍)到 16 路 864 token/s(2.7 倍)。HumanEval、MT-Bench 同样是吞吐上升、相对加速下降。
预训练初始化在 GSM8K 末期 τ 约 9.8,随机初始化约 4.5。AIME25 上 C=12、F=2 加速约 5.0 倍,命中率 71.3%。C 增到 16,命中率 78.3%,加速下降,因为每次打包都在为用不到的分支付钱。
拒绝采样还在,输出分布仍与目标模型自己解码一致。调度变了:草稿不再向目标要隐藏态,验证当前块和准备下一块可以重叠。
目标越大,验证越贵,同一份草稿越容易被藏进验证时间。相对表中平均加速最高的基线,8B 高 12.6%(5.00 对 DSpark 的 4.44),32B 高 45.7%(5.71 对 3.92)。这份从 Qwen3-8B 剪来的草稿,配 32B 目标比配 8B 目标更划算。
相对 DFlash,这是系统上的渐进改进。块生成已经有了,D3D 拿掉隐藏态依赖,再按接受长度剪层,把更长的 τ 做成墙钟。PARD-2 也能脱离目标特征做异步推断。8B 的 GSM8K 上 D3D 是 6.71 倍,PARD-2 是 6.16 倍。HumanEval 上是 5.19 倍对 3.95 倍。
硬件不对称。D3D、SSD、PARD-2 用两张 H800,目标一张、草稿一张。DFlash、DSpark、EAGLE-3 在一张卡上。论文没有报告每卡吞吐,也没有和「两张卡做张量并行、不加草稿」比。8B 目标配一个从 Qwen3-8B 只剪掉 5 层的草稿,多出来的显存不是免费的。
缓存未命中时必须同步补草稿,这一轮的重叠就没了。后端是 Transformers,不是 SGLang 或 vLLM。主结果只有贪心、非思考模式。采样解码和其他模型家族没有数字。
保留 99% 接受长度,只在 Qwen3-8B、三项基准上给出。主表 5.00 倍和 5.71 倍已是 31 层草稿的成绩,未剪版本的七项端到端加速没有单独列出。