MoE 双尺度负载均衡新论文:EQB 精确全局分位,超越 Kimi K3 近似方案
ChengleiSi · x · 2026-09-27
新论文提出 MoE 训练中的两级负载均衡方法:
- EQB(Exact Quantile Balancing):以极小通信开销计算精确的 global-batch BF16 分位数,改进分布式 Quantile Balancing,效果优于 Kimi K3 使用的近似直方图变体。
- LEI(Load-Error Injection):将局部负载误差直接注入 router 分数梯度,在同等质量下局部均衡优于 GShard 标准辅助损失。
- 在 7.5B 参数 MoE、最多 500B token 训练上验证:EQB 提升全局均衡与下游性能,LEI 提升专家并行执行效率。
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16