Kimi K3 的稀疏 MoE 细节
techNmak · x · 2026-07-19
这条长帖解释了 **Kimi K3** 的稀疏 MoE 设计：它有 **2.8 万亿参数**，但在一次稀疏专家计算中，实际只会激活 **896 个专家里的 16 个**，其余大部分专家不参与当次计算。 作者指出，问题不只是“模型有多少专家”，更关键的是 **路由与负载均衡**：如果少数专家被过度分配，吞吐会被拖垮。Moonshot 给出的方案是 **Quantile Balancing**，用路由分数的分位数直接做分配，避免反复启发式修正和一个敏感的平衡超参。另一方面，他们还做了 **完全平衡的 expert-parallel 训练**，使用静态 shape、critical path 上不需要 host 同步，目标是防止专家不均衡进一步破坏分布式训练吞吐。