Cohere 论文：相邻 token 共享 20-45% 专家，MoE 投机解码低批量也划算
rohanpaul_ai · x · 2026-11-03
Cohere 新论文《Why Speculative Decoding Works Better Than Predicted on Sparse MoE Models》发现，细粒度 MoE 模型上投机解码在 batch size 1 时收益远超此前预测。
核心发现
- 团队测试了 10 个 30B–1T 参数、8–512 专家的稀疏 MoE 模型，在 H100 上做 kernel profiling。
- 相邻 token 实际共享 20%–45% 的专家，远高于按独立路由假设预期的 4%–12%，验证多个 draft token 激活的独特专家数大幅减少。
- 低批量下细粒度 MoE 层在运行时中的占比远小于其权重占比：MoE kernel 带宽利用率高于 attention，L2 缓存吸收了共路由专家的重复读取。
- 实测 Qwen3-235B FP8 的验证一步跑到正常解码步速的 89%，而此前预测只有 52%。
- 作者用最大熵 IPF 框架从路由重叠统计预测独特专家数，误差小于 4%。
实践建议：低批量 MoE 服务场景（如 agent 负载）不要凭旧结论排除投机解码，应先在自己的硬件上实测。
所属事件:Cohere 新论文揭示稀疏 MoE 上投机解码为何快于预期(2 条相关)→
「Infra」频道最新
- 斯坦福教授论证太空算力散热可行：黑球辐射平衡只需解决导热 — shaunmmaguire · 2026-11-03
- AI 债务交互地图：25 方 58 项义务，公众同时是赌徒、债主与房东 — W1RELESS · 2026-11-03
- 开源推理引擎 TensorFold 发布 1.0：RTX PRO 6000 上跑出 874 tok/s — Jasonio · 2026-11-03
- 开发者把存储桶从 GCP 迁到 Cloudflare,每月省 700 美元 — aniketmaurya · 2026-11-03
- Lattice FPGA 营收创纪录增 118%：AI 数据中心需求成主引擎 — BenBajarin · 2026-11-03
- PyTorch 2.15 发布：NCCL 新后端转正，Blackwell 上 NVFP4 解码提速 — PyTorch · 2026-11-03