Qwen 开源 SpecOPD：分支并行在线蒸馏，推理最高提速 3.56 倍
pmttyji · reddit · 2026-11-06
Qwen 团队发布论文 SpecOPD，一种分支并行的在线蒸馏（OPD）框架，用于提升投机解码的起草器质量：
- 核心洞察：在线蒸馏的监督信号不必继承串行的「起草-验证」依赖——草稿块只需参考前缀和草稿采样历史即可监督，从而可在独立分支上并行采样与监督。
- 工程细节：将分支打包成提案树以共享目标前缀计算；对全注意力用树掩码，稀疏注意力用分支一致的 indexer 组，线性注意力用带索引的状态回放；起草器用直接以接受长度为目标的 E2E-TV 代理损失训练。
- 实验规模：覆盖 8B 全注意力（GQA）、27B 全-线性（GQA-GDN）、125B 稀疏-线性（QSA-GDN）目标模型，三种并行起草架构（DFlash/DSpark/DFlash V2），四个任务域。
- 结果：平均接受长度提升最高 41.45%，监督 token 吞吐量较串行 rollout OPD 提升 16.09 倍，自回归解码整体生成加速最高 3.56 倍。
论文、博客与 GitHub 代码均已开源。
所属事件:Qwen 开源 SpecOPD，投机解码推理最高提速 3.56 倍(2 条相关)→
「Infra」频道最新
- 传英伟达500亿美元AI融资工具遭施压，被要求提高25%残值担保 — dinabass · 2026-11-13
- AI工程师GPU底层教程：从token流转、显存计算到量化与多卡切分 — kmeanskaran · 2026-11-13
- CoreWeave Q3 营收 36.6 亿美元涨 168%,签约 Wayve 训练 AI Driver — thursdai_pod · 2026-11-13
- 67B 图像模型跑进 16GB MacBook Air:MLX 移植峰值内存降至约 2.5GB — FlimsyBrief4232 · 2026-11-13
- SimpleHC：去掉残差混合，仅 2.4% 额外训练时间逼近 mHC 性能 — dots-studio · 2026-11-13
- WSJ 曝黄仁勋私下忧心客户流失，晶圆与内存库存如「雪崩」压顶 — SumitGup · 2026-11-13