MoE 双尺度负载均衡新论文:EQB 精确全局分位,超越 Kimi K3 近似方案
ChengleiSi · x · 2026-09-27
新论文提出 MoE 训练中的两级负载均衡方法:
- EQB(Exact Quantile Balancing):以极小通信开销计算精确的 global-batch BF16 分位数,改进分布式 Quantile Balancing,效果优于 Kimi K3 使用的近似直方图变体。
- LEI(Load-Error Injection):将局部负载误差直接注入 router 分数梯度,在同等质量下局部均衡优于 GShard 标准辅助损失。
- 在 7.5B 参数 MoE、最多 500B token 训练上验证:EQB 提升全局均衡与下游性能,LEI 提升专家并行执行效率。
「研究」频道最新
- AI 公布 2 页纸无条件证明:4 的倍数弱哥德巴赫猜想获解 — yshan2u · 2026-09-27
- 可解释性开放难题：能否可信编辑模型的上下文信念 — thebasepoint · 2026-09-27
- 分解式可解释性并未过时，但须正视前沿模型复杂性 — thebasepoint · 2026-09-27
- 自动科研Agent大军将至，研究者警告同行评审或将失守 — askerlee · 2026-09-27
- 研究者认为SAE研究收效有限，看好Transluce元模型路线 — thebasepoint · 2026-09-27
- PRIMESCIENTIST 让研究智能体学会分配实验预算，奖励提升 10.3% — rohanpaul_ai · 2026-09-27