MoonshotAI 开源 MoonEP，做专家并行负载均衡
teortaxesTex · x · 2026-07-27
MoonshotAI 开源了 MoonEP，一个用于专家并行通信的库，目标是让各个 rank 的 token 负载始终保持均衡。
- 它通过动态冗余专家来保证，即使路由极度偏斜，每个 rank 也能收到完全相同的 $S \times K$ 个 token。
- 系统会根据当前 router 输出在线规划冗余专家，在专家计算前预取，并在反向传播时把梯度回传到对应的 home rank。
- README 强调的实现特性包括：近最优 GPU 规划、zero-copy、静态 shape，以及尽量低的额外开销。
「Infra」频道最新
- Claude 对话被索引后，机密计算方案被再次推上台面 — bittingthembits · 2026-07-27
- Moonshot 开源 MoonEP，开闭源之争再被点燃 — KyeGomezB · 2026-07-27
- Kimi K3 的 2.5 倍 scaling-law 提升引发效率讨论 — andrew_n_carr · 2026-07-27
- Kimi K3 登陆 Nebius：100 万上下文、AA 57 分 — teortaxesTex · 2026-07-27
- AI agent 发现 Bun 的 `child_process.spawn` 兼容性旧 bug — steipete · 2026-07-27
- llama.cpp 在 PR 25994 中加入 Nanbeige4.2 支持 — pmttyji · 2026-07-27