字节 DScout 优化扩散草稿投机解码，Qwen 上提速 3.84-4.14 倍

ByteDance · hf · 2026-10-20

字节跳动联合 Virginia Tech 与 CMU 发布 DScout，针对「扩散草稿器 + 投机解码」的训练与推理做联合优化。论文指出，扩散草稿器虽能并行生成草稿 token，但更高的 MAT（平均接受 token 数）并不必然带来更高吞吐：验证只接受连续前缀，早期拒绝会让后续正确预测失效，且每轮延迟上升也可能抵消收益。DScout 用两个因式分解分别指导训练与推理：训练侧将位置混合训练、块内 unmasking 与接受加权损失对齐前缀接受目标；推理侧将吞吐分解为 MAT 与每轮延迟之比，指导条件深度、草稿器深度和块大小选择。在六个基准上，DScout 相对自回归解码在 Qwen3-4B 和 Qwen3-8B 上分别取得 3.84 倍和 4.14 倍平均加速。