Kimi K3架构解析：采用分位数均衡与LatentMoE突破3T规模瓶颈

nrehiew_ · x · 2026-07-29

作者对 Kimi K3 的模型架构进行了深度解读。在 MoE 负载均衡方面，K3 放弃了 DeepSeek V3 风格的无偏置辅助损失，转而采用一种名为“分位数均衡”的新机制：通过获取 Top K+1 的偏置分数作为截断值，动态调整每个专家的偏置以实现目标负载的平衡路由。

此外，K3 引入了英伟达的 LatentMoE 技术，通过对输入进行低秩投影，其主要动机在于支持配置更多的专家数量。但在 3T 参数的庞大尺度下，这会导致激活值爆炸和负载均衡难题，为此模型引入了新的激活函数来限制输出幅度上限，并在 up projection 前增加 RMSNorm 以维持训练稳定。