清华 BaGuaLu-2 把 MoE 激活显存变成运行时控制问题,入选 SC26
jiqizhixin · x · 2026-11-12
清华大学及合作者的 BaGuaLu-2 被接收至 SC26,针对的问题是:MoE 路由可能突然把大量 token 集中到少数专家上,罕见的专家负载尖峰为何要迫使整个训练重启?
- 瓶颈:静态显存策略要么让正常迭代不必要地变慢,要么在尖峰到来时面临 OOM 风险
- 机制:路由揭示负载后,由成本模型选择算子级的激活缓解手段(重计算、offload);调度器交错执行相邻 microbatch,在尊重依赖关系的前提下重叠额外计算与传输
- 收益:平均吞吐达 Megatron-Kuai 的 1.14 倍、AdaP 的 1.13 倍
「Infra」频道最新
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12
- 施密特基金会被曝资助法国反数据中心 NGO,行业利益现反差 — StephanSturges · 2026-11-12
- 开源模型千美元级自动攻破 6 版 Firefox,Epoch 揭示补丁窗口攻击扩散 — Epoch AI · 2026-11-12
- Polymarket 押注州级数据中心禁令 28%,Torus 获 5 亿美元建集装箱算力 — Polymarket · 2026-11-12
- 种子轮融完一个月就倒闭,AWS 包装型云厂商遭群嘲 — thedealdirector · 2026-11-12
- 犹他初创 Torus 融资 5 亿美元，造 4 个月即可部署的集装箱 AI 数据中心 — Polymarket · 2026-11-12