UltraEP：MoE实时负载均衡
小红书技术REDtech · wechat · 2026-07-20
UltraEP：把 MoE 的实时负载均衡做进生产
随着 MoE 模型参数规模迈向万亿，专家并行已成为训练和推理的主流方案，但真实训推中 GPU 负载往往严重不均，带来空转、all-to-all 通信瓶颈和 OOM 风险。小红书和北大提出的 UltraEP，直接利用门控后的真实负载做按 microbatch、按层的实时专家重均衡，而不是依赖历史窗口的预测式调度。
核心思路
- 控制面：把专家放置和 token 重路由耦合求解，按实例最终负载（quota）搜索，EP64 下求解时间仍能控制在 100 µs 以内。
- 数据面：用持久化算子、tile 切分和 chunk-streaming relay 高效搬运权重和梯度，避免通信热点。
- 显存优化：为冗余专家预留固定 slot，并通过跨层复用 buffer，大幅降低额外显存开销。
结果
- 训练：平均达到理想吞吐的 94.6%，相比 Megatron-LM 提升 42%。
- 推理 prefill：达到理想吞吐的 90%–97%，相比 SGLang 提升 1.56 倍。
- rank 间不均衡从 1.30–4.01 降到 1.01–1.04。
文中还提到，UltraEP 已在正式生产中部署，并用于一个 288B 参数 MoE 模型的完整预训练，在长周期训练中维持了不低于理想性能 92% 的水平。
「公司和人」频道最新
- Anthropic S-1 写明两大 AI 愿景：治愈疾病与覆盖 46 亿缺医人口 — petergyang · 2026-10-27
- Robot Ventures 领投 Nous Research 9000万美元，尽调花了三四个月 — AccBalanced · 2026-10-27
- Tesla 休斯顿 robotaxi 服务区大幅扩张，覆盖范围远超旧围栏 — Polymarket · 2026-10-27
- Anthropic S-1 治理结构遭批：荒诞资本架构为何未被估值打折 — PAstynome · 2026-10-27
- Anthropic IPO 文件披露:违规客户贡献 5%-7% 营收,至少 8.14 亿美元 — henkvaness · 2026-10-27
- LlamaIndex 包场 F1 奥斯汀套件，AI 高管连嗨三天搞团建 — llama_index · 2026-10-27