Cohere arXiv 论文全文：稀疏 MoE 上投机解码为何比预测更快

rohanpaul_ai · x · 2026-11-03

同上条 Cohere 论文的 arXiv 链接帖（arXiv:2610.38981，2026-10-28 提交）。作者 Ekagra Ranjan、Komal K. Teru、Bharat Venkitesh、Acyr Locatelli。

摘要要点：此前工作预测 MoE 模型投机解码的加速-批量关系呈凹形，收益在中等批量见顶（专家饱和）。团队在 10 个稀疏 MoE 模型（30B–1T 参数、8–512 专家）上评测，发现细粒度模型在低批量下反而有更高加速。验证成本不只由激活专家字节数决定，还取决于 draft token 间的时间重叠与 GPU 执行动态：低批量下 MoE 层运行时占比远小于权重占比（kernel 带宽利用更高、L2 吸收重复读取），且路由重叠进一步减少验证时激活的独特专家数。IPF 框架预测独特专家数误差小于 4%。