96卡实测：港科大华为新路由让DeepSeek解码吞吐提升15%
机器之心 · wechat · 2026-10-16
港科大周子杰团队与华为 2012 实验室提出 BalanceRoute，针对 DeepSeek 类 MoE 模型部署中多组计算卡同步解码的「齐步走」问题：只要最忙的一组没算完，其他组只能空等，且请求数相同各组 KV 负载也可能不同，累积等待悄悄吃掉扩容收益。
方法
- 数学建模刻画各单元与最重单元的负载差，得到不均衡指标 I(k)，将路由转化为有明确目标的在线优化问题；
- BR-H 引入 H 步预测窗口，估计运行中请求在窗口内结束的概率与剩余步数，形成短期负载预测；
- 分配时权衡「填补空闲」与「推高新峰值带来的额外等待」，请求分配后不迁移；
- 在 vLLM-Ascend 上实现有状态代理，单轮调度中位耗时 1.20ms，远低于约 60ms 的单步解码预算。
结果：96 张昇腾 910 NPU 跑 DeepSeek-V3 671B（W8A8），回放企业与 Azure 生产请求，相对最强基线解码吞吐分别提升 15.4% 和 14.5%，尾部延迟同时降低。论文已被 NeurIPS 2026 接收，并部署于双方共建的 MaaS 推理系统 MathBot-Pie。团队称这是「OR for LLM serving」路线：用运筹学建模指导推理系统决策。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18