LatentMoE 如何重塑 MoE 范式
青稞AI · wechat · 2026-07-19
这篇文章用 Kimi K3 和 NVIDIA Nemotron3 Super 两个案例，解释了 LatentMoE（潜在 MoE） 为什么可能成为下一代 MoE 的关键范式。
核心论点是：传统 MoE 的瓶颈不只在专家数量，而在于 token 路由到 expert 时，必须读取大维度权重并进行 all-to-all 通信，随着模型变大，这两项开销会线性恶化。LatentMoE 的做法是先把 token 从原始维度 d 投影到更小的潜在空间 ℓ，在低维空间里做路由和 expert 计算，再投影回去，从而：
- 将 expert 权重读取量从 d×m 缩小到 ℓ×m
- 将 all-to-all 通信量同步降低
- 在同等推理成本下，允许激活更多 expert、扩大专家组合空间
文中给出两个实践案例：
- Nemotron3 Super：512 个 expert、Top-22、ℓ = 1024，并结合 Mamba-2、少量 attention、MTP 做推理加速。
- Kimi K3：896 个 expert、Top-16、极高稀疏比，配套提出 QuantileBalancing，用分位数而不是启发式超参来做负载均衡，以支撑 2.8T 规模训练稳定性。
作者还总结了两条路线的区别：NVIDIA 更偏“效率优先”，Kimi 更偏“极致规模”，但本质上都在用压缩 expert 计算维度的方式，把节省下来的资源换成更大的专家组合能力。最后文章还展望了几个方向：自适应压缩比、动态 Top-K 路由，以及把结构化稀疏性纳入架构设计。
「Infra」频道最新
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后，Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- 推理社区与 K8s 社区高度重合：万亿市场的 Kubernetes 翻版 — matt_slotnick · 2026-10-27
- vLLM 考虑将更多栈迁往 Rust，推理引擎 Rust 化成趋势 — AccBalanced · 2026-10-27
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27