ID Balancing 用 PID 控制论稳定 256 倍稀疏 MoE 训练
teortaxesTex · x · 2026-10-01
arXiv 论文《ID Balancing: Stable Training of Extremely Sparse MoE via PID-Based Load Control》把两类无辅助损失的负载均衡方法统一为不完备的 PID 控制器:DeepSeek 的 loss-free 方法相当于固定步长的积分控制器,Kimi K3 的 Quantile Balancing 相当于广义比例控制器。
在此基础上,作者提出 ID Balancing(Integral-Derivative 控制器):积分项随负载误差缩放,仅在失衡恶化时激活微分项,从而对大误差给更强纠正、接近均衡时减少更新。
在 768 专家、Top-10/Top-5/Top-3 路由下评测,Top-3 设置中 worst-case backbone MaxVio 相对最佳基线降低超 50%,训练平均 MinVio 降 12%,可支撑总参数量从 18.9B 扩展到 69.9B 的超稀疏训练。
「研究」频道最新
- Technion 提出误导图像压力测试:13 个 VLM 评审近两成标签被无关图片动摇 — Technion · 2026-10-01
- CISPA 研究:多智能体潜在通信通道可将有害服从从 27.9 推高至 76.9 — cispa · 2026-10-01
- Google 研究：教师用生成式 UI 自建教学模拟，教师评分 8/10 — dl_weekly · 2026-10-01
- 每次不到 1 美分,事后核查可抓住 61% 谎报完成的 AI Agent — alex_verem · 2026-10-01
- 从 GPU 显存瓶颈下手，Tri Dao 的 FlashAttention 如何成为大模型标配 — thisdudelikesAI · 2026-10-01
- Looped Transformer 深度复盘：复用层多算几轮，哪些任务才值得？ — ArchitectingAI · 2026-10-01