Kimi K3 用分位数均衡替代固定步长做专家负载均衡
Nouamanetazi · x · 2026-11-06
作者解释最新 MoE 如何均衡专家负载:Kimi K3 每层多达 896 个路由专家,放弃了固定步长的 bias 更新(loss-free 符号更新),改用分位数均衡——从跨 GPU 汇总的得分直方图中求解每个专家的 bias;DeepSeek-V4.1-Flash 则为每个模态保留一个 bias。配图显示在该重复批次上,符号更新最忙专家仍比均值高 25%,而分位数均衡收敛到 8%,且无需调节步长。
所属事件:Hugging Face 发布 50 万 GPU 小时打磨的终极 MoE 训练手册(17 条相关)→
「研究」频道最新
- 快手可灵团队等提出 JointLight：视频换光时人物与阴影保持真实 — jiqizhixin · 2026-11-06
- 康奈尔发布 Trainspotting 数据集：12 万张网友照片练 3D 重建 — kwangmoo_yi · 2026-11-06
- 从黑猩猩基因组到 49 段超保守 DNA：一段人类加速进化区的发现史 — iskander · 2026-11-06
- SMFNet 等序列模型新进展：解码转录因子组装的单分子规律 — anshulkundaje · 2026-11-06
- ICLR 评审意见今日放出，作者圈进入等待判决时刻 — khademinori · 2026-11-06
- Meta 研究员:动 RL 之前先做足 SFT,否则等于白花钱 — DimitrisPapail · 2026-11-06