Parallax 路由专家的质量为何不掉
jon_durbin · x · 2026-07-16
这条讨论的是 **Parallax** 里一个常见疑问：为什么路由专家只看到大约 `1/G` 的 token，质量却几乎不掉。 作者给出的解释不是“魔法”，而是几项设计叠加： - 通过 **latent MoE** 把每个专家做小，再增加更多专家。 - 提高 `top-k`，让更多 token 命中局部专家。 - 在路由器上加入 **control variate**，把路由信用分配做得更稳。 结论是：只要模型按“去中心化”来设计，而不是硬把一个中心化模型拆开，参数仍然能获得足够的 token 预算。