北大等提出 UltraEP：突破大规模 MoE 训练 GPU 负载瓶颈
jiqizhixin · x · 2026-08-09
北京大学、小红书与上海AI Lab联合提出了 UltraEP 框架，旨在解决数百上千 GPU 训练巨型混合专家模型时的负载同步与瓶颈问题。
- 核心机制：作为一个实时负载均衡器，它能在机架级节点内不断重新分配 GPU 计算任务，针对每个微批次和层级进行动态调整，防止单个 GPU 拖慢整体效率。
- 性能表现：在极低通信开销下，达到了理想吞吐量的 94.3%；相比无均衡策略实现了 1.49 倍的加速，并将负载不均衡度从最高 4 倍降至接近完美平衡。
- 测试规模：在 106B 到 671B 参数的尖端 MoE 模型上进行了验证，最高跨越 256 个 GPU。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16