港科大联手华为提出 BalanceRoute,破解 MoE 推理负载均衡瓶颈
jiqizhixin · x · 2026-10-25
MoE 模型服务(如 DeepSeek)中,多计算组并行处理请求,但每步解码需跨组同步:最忙的组决定节奏,其余组空转等待;即使请求数相同,各组实际计算负载也不同,扩展 GPU 吞吐收益递减。
港科大周子捷团队与华为 2012 实验室理论部提出 BalanceRoute,被 NeurIPS 2026 接收(ArXiv 2605.06113):先将分布式解码的同步等待问题数学化建模,再把短期负载预测转化为在线路由决策,以缓解数据并行下的负载不均瓶颈。
「Infra」频道最新
- DeepInfer 为 DeepSeek 4.1F 深度定制：KV cache 每 token 仅 890 字节 — teortaxesTex · 2026-10-25
- 推理成本快速下降，创业公司 Talaas 推理引擎速度媲美 System 1 模型 — Square-Listen-7989 · 2026-10-25
- NextDC 一天暴跌 40%：真正的瓶颈是电网，不是合同 — ccerrato147 · 2026-10-25
- Neocloud 本质是数据中心抵押贷款：租金在后，利息在前 — ccerrato147 · 2026-10-25
- 韩国 Elice IPO 首日暴跌 32%，超额认购 400 倍也救不了 — ccerrato147 · 2026-10-25
- 单张 AMD MI325X 跑 DeepSeek 552B：四 agent 同时 100 tok/s — realmrfakename · 2026-10-25