NVIDIA 开源 srt-slurm：YAML 编排 Slurm 集群上的推理服务

AccBalanced · x · 2026-08-29

SemiAnalysis 转发介绍 NVIDIA 开源的 srt-slurm：面向生产级推理拓扑的 YAML 声明式编排层。在单 Slurm 作业里跑一个推理服务容易，但跨多容器、多节点协调生产式拓扑很难——srt-slurm 统一协调 sbatch/srun、GPU 放置、网络、就绪检查与清理，支持 prefill/decode 分离、多 worker、Dynamo 前端、KV-cache 感知路由与 KV-cache offload 服务。适合在已用 Slurm 的 GPU 集群上快速部署代表性推理系统做测试或基准。