华为昇腾 ASP 调度系统登 NeurIPS:RL 训练生成吞吐提升 222%

机器之心 · wechat · 2026-11-07

深圳市大数据研究院与华为联合研发的 ASP(Adaptive Scheduling Pipeline)面向多实例异步 RL 训练,将生成与训练解耦后,用队列感知调度一次性消除 padding、skewness、sorting 三类气泡,系首个基于国产昇腾算力被 NeurIPS 接收的大模型 RL 训练加速系统。

方法上,ASP 先用小模型预测输出长度,再用动态规划构造长度同质的 minibatch,最后把长短批混合编排成负载均衡的调度组,全部为离线预处理,rollout 期间零在线开销;配合 TrainingQueue 反馈节流与受限权重滞后(约 3.3 训练步)保持收敛。

结果:在昇腾 910B3 上 64 卡跑 Qwen3-30B-A3B/32B,迭代时间较 MindSpeed-RL 降低约 76%,较 verl 降低 60% 以上,生成吞吐达 58 tokens/s/NPU;扩展至 3-4 个生成节点接近线性加速。已落地电信场景百卡集群,训练周期从 3 个多月压缩到约 2 个月,未来将迁移 verl 框架并开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →