Kimi K3 的稀疏 MoE 细节

techNmak · x · 2026-07-19

这条长帖解释了 Kimi K3 的稀疏 MoE 设计：它有 2.8 万亿参数，但在一次稀疏专家计算中，实际只会激活 896 个专家里的 16 个，其余大部分专家不参与当次计算。

作者指出，问题不只是“模型有多少专家”，更关键的是路由与负载均衡：如果少数专家被过度分配，吞吐会被拖垮。Moonshot 给出的方案是 Quantile Balancing，用路由分数的分位数直接做分配，避免反复启发式修正和一个敏感的平衡超参。另一方面，他们还做了完全平衡的 expert-parallel 训练，使用静态 shape、critical path 上不需要 host 同步，目标是防止专家不均衡进一步破坏分布式训练吞吐。