LatentMoE 如何重塑 MoE 范式
青稞AI · wechat · 2026-07-19
这篇文章用 Kimi K3 和 NVIDIA Nemotron3 Super 两个案例，解释了 LatentMoE（潜在 MoE） 为什么可能成为下一代 MoE 的关键范式。
核心论点是：传统 MoE 的瓶颈不只在专家数量，而在于 token 路由到 expert 时，必须读取大维度权重并进行 all-to-all 通信，随着模型变大，这两项开销会线性恶化。LatentMoE 的做法是先把 token 从原始维度 d 投影到更小的潜在空间 ℓ，在低维空间里做路由和 expert 计算，再投影回去，从而：
- 将 expert 权重读取量从 d×m 缩小到 ℓ×m
- 将 all-to-all 通信量同步降低
- 在同等推理成本下，允许激活更多 expert、扩大专家组合空间
文中给出两个实践案例：
- Nemotron3 Super：512 个 expert、Top-22、ℓ = 1024，并结合 Mamba-2、少量 attention、MTP 做推理加速。
- Kimi K3：896 个 expert、Top-16、极高稀疏比，配套提出 QuantileBalancing，用分位数而不是启发式超参来做负载均衡，以支撑 2.8T 规模训练稳定性。
作者还总结了两条路线的区别：NVIDIA 更偏“效率优先”，Kimi 更偏“极致规模”，但本质上都在用压缩 expert 计算维度的方式，把节省下来的资源换成更大的专家组合能力。最后文章还展望了几个方向：自适应压缩比、动态 Top-K 路由，以及把结构化稀疏性纳入架构设计。
「Infra」频道最新
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11
- PyTorch Day Korea 2026 首届线下大会启动,9月13日截止征集演讲 — PyTorch · 2026-09-11
- 本地跑 LLM 选卡:4 张 CMP-170HX 涨价 vs Mac Studio M5 — rumboll · 2026-09-11
- llama.cpp 为 RDNA4 调优 Flash Attention,大上下文提升明显 — pmttyji · 2026-09-11