Cohere 新论文揭示稀疏 MoE 上投机解码为何快于预期

Cohere 发布论文《Why Speculative Decoding Works Better Than Predicted on Sparse MoE Models》(arXiv:2610.38981，作者 Ekagra Ranjan、Komal K. Teru 等)。研究发现相邻 token 会共享 20-45% 的专家，细粒度结构使得稀疏 MoE 模型上的投机解码即使在低批量场景下也具有成本效益，实际加速超过传统预测。

2026-11-03 ~ 2026-11-03 · 2 条相关

• Cohere 论文：相邻 token 共享 20-45% 专家，MoE 投机解码低批量也划算 — rohanpaul_ai · 2026-11-03
• Cohere arXiv 论文全文：稀疏 MoE 上投机解码为何比预测更快 — rohanpaul_ai · 2026-11-03