MoonshotAI 开源 MoonEP 优化 MoE 负载均衡

MoonshotAI 正式开源了用于专家并行通信的库 MoonEP，旨在解决混合专家模型训练与推理中的负载均衡难题。该库通过引入动态冗余专家机制，确保即使在路由极度偏斜的情况下，各个 rank 的 token 负载也能保持均衡，从而有效提升分布式 MoE 工作负载的通信效率与整体性能。

2026-07-27 ~ 2026-07-28 · 2 条相关

• MoonshotAI 开源 MoonEP，做专家并行负载均衡 — teortaxesTex · 2026-07-27
• Moonshot 开源 MoonEP，给 MoE 做负载均衡 — deliprao · 2026-07-28