MoE 路由不连续性研究

RubenEVillegas · x · 2026-07-10

这篇转发介绍了一项关于稀疏 Mixture-of-Experts（SMoE）模型的研究，指出其 top-k 路由机制会带来数学上的不连续性：两个非常相似的输入，可能激活完全不同的专家，输出也会显著变化。