Moonshot 开源 MoonEP，做 MoE 专家并行负载均衡
SeunghyunSEO7 · x · 2026-07-28
MoonshotAI 开源了 MoonEP，这是一个用于 expert parallelism 的通信库，目标是让各个 rank 的 token 负载保持均衡。
- 它通过 dynamic redundant experts 来应对路由倾斜，保证每个 rank 最终都能拿到相同数量的 token。
- 文中给出的机制是：根据当前 router 输出在线规划冗余专家，并在 expert 计算前完成预取。
- 其规划 kernel 号称开销很小。
- 方案还强调 zero-copy 和 static shapes，重点是让 MoE 训练/推理更高效、同时缓解 activation memory 压力。
所属事件:Moonshot 开源 MoonEP：MoE 专家并行通信与负载均衡库(7 条相关)→
「Infra」频道最新
- Moonshot 开源 MoonEP，降低 MoE 分布式通信开销 — teortaxesTex · 2026-07-28
- LangChain 宣布与 NVIDIA 合作，强调开源基因 — Hacubu · 2026-07-28
- Morgan Stanley 拆出 AI 基础设施每一层的受益者 — SumitGup · 2026-07-28
- Google Cloud 为 Cloud Run 加入限额和沙箱运行环境 — steren · 2026-07-28
- Fields Medal 得主转投 OpenAI，同周还有 2500 亿融资和 Kimi K3 — Dapper-Tale-4021 · 2026-07-28
- Bloomberg 图谱：Nvidia 位于 AI 循环融资中心 — SumitGup · 2026-07-28