Qwen 开源 SpecOPD，投机解码推理最高提速 3.56 倍

阿里巴巴 Qwen 团队联合中科大、浙大、CMU 等机构发布并开源 SpecOPD（论文于 11 月 2 日上传 arXiv），这是一种分支并行的在线蒸馏（OPD）框架，用于提升投机解码中起草器的质量。其核心洞察在于在线蒸馏的监督信号不必继承串行的「起草-验证」流程，从而实现更高效的训练。实验显示该方法可将推理速度最高提升 3.56 倍。

2026-11-05 ~ 2026-11-06 · 2 条相关