MoonshotAI 开源 MoonEP，做专家并行负载均衡
teortaxesTex · x · 2026-07-27
MoonshotAI 开源了 MoonEP，一个用于专家并行通信的库，目标是让各个 rank 的 token 负载始终保持均衡。
- 它通过动态冗余专家来保证，即使路由极度偏斜，每个 rank 也能收到完全相同的 $S \times K$ 个 token。
- 系统会根据当前 router 输出在线规划冗余专家，在专家计算前预取，并在反向传播时把梯度回传到对应的 home rank。
- README 强调的实现特性包括：近最优 GPU 规划、zero-copy、静态 shape，以及尽量低的额外开销。
所属事件:Moonshot 开源 MoonEP：优化 MoE 分布式通信与负载均衡(9 条相关)→
「Infra」频道最新
- Rat Stack：把应用和云写成一个类型化程序，让 AI agent 可靠地搭建部署 — samgoodwin89 · 2026-09-23
- optimAIzr:本地 CLI 找出 AI 用量浪费,支持 Claude Code 与 Codex 省钱 — stichstichstich · 2026-09-23
- 256GB 内存版 Mac Studio 二手溢价 6000 美元仍一机难求 — GabGarrett · 2026-09-23
- Ben Bajarin 解析 AI 数据中心:CPU 与内存如何限制 GPU 推理服务能力 — BenBajarin · 2026-09-23
- Epoch AI 报告:「思考」的价格正在暴跌,智能成本持续陡降 — Proper_Actuary2907 · 2026-09-23
- 从燃气到吉瓦:Diligence Stack 专家访谈拆解 AI 数据中心供电难题 — BenBajarin · 2026-09-23