Moonshot 开源 MoonEP：实现完美负载均衡的专家并行库
SeunghyunSEO7 · x · 2026-07-28
Moonshot AI 官方开源了 MoonEP，这是一个专家并行（EP）通信库。其核心亮点在于通过动态冗余专家机制，确保无论路由倾斜程度如何，每个 rank 接收的 token 数量都能达到完美的负载均衡（精确等于 S × K）。
技术细节：
- 在线规划：包含一个开销极小的近优 GPU 规划内核。
- 零拷贝与静态形状：融合了 permute/unpermute 操作。
- 底层优化：采用了 Sonic MoE 的重计算和反向传播数学算法（由 Tri Dao 贡献）。
所属事件:Moonshot开源MoonEP，动态冗余专家实现完美负载均衡(6 条相关)→
「Infra」频道最新
- POCKET 项目：让 350 亿参数大模型在 iPhone 上运行 — pmttyji · 2026-07-28
- Diffusers 原生接入 Nunchaku 4 比特扩散推理 — dl_weekly · 2026-07-28
- SK hynix 称 AI 需求“难以置信”，存储热潮仍在延续 — firstadopter · 2026-07-28
- OpenAI agent 演示、开源权重潮与 AI 碳成本重塑企业判断 — jonerp · 2026-07-28
- Verizon 签下超 10 亿美元谷歌暗光纤协议，转建 AI 微型数据中心 — The Decoder · 2026-07-28
- Verizon与Google签10亿美元暗光纤协议，改造机房为AI数据中心 — Ars Technica AI · 2026-07-28