阿里 Qwen 团队发 SpecOPD：分支并行在线蒸馏加速投机解码

Qwen · hf · 2026-11-05

阿里巴巴 Qwen 业务单元联合中科大、浙大、CMU 等机构发布 SpecOPD（arXiv 2026-11-02），改进投机解码的在线蒸馏训练。

背景：高级投机解码用并行 drafter 一次前向预测整块 token，但提速仍受 acceptance length 限制；在线蒸馏可突破平台期，但传统流程需串行 draft-and-verify 采样收集监督
关键洞察：草稿块的监督只需其参考前缀和 draft 采样历史，不必继承串行依赖
方法：把 draft 采样与目标监督并行化到独立分支，分支取自演化中的 drafter 策略在参考锚点处的采样；打包为 proposal trees 共享目标前缀计算，用 tree mask（全注意力）、branch-consistent indexer groups（稀疏注意力）和 indexed state replay（线性注意力）保留各分支历史
效果：提升 acceptance length 和训练吞吐，跨多种模型架构与任务有效；代码与博客已公开

「Infra」频道最新