vLLM 生产栈跑 K8s 没问题,但 agent 沙箱 Modal 用另一套扩展到百万并发

NielsRogge · x · 2026-10-26

NielsRogge 回应「Kubernetes 是否适合跑 AI 推理和 agent 负载」的讨论:推理层面,K8s 完全可用——vLLM 的 production-stack 就是 K8s 原生的分布式部署方案,支持从单实例扩展到分布式而无需改应用代码,并带 KV cache 感知路由、负载感知路由、prefix 感知路由、跨实例共享 KV cache、分离式 prefill 等能力。但 agent 沙箱是另一回事:Modal 曾发文指出 K8s 并非沙箱的最优解,他们自建方案将 agent 代码执行沙箱扩展到了超 100 万并发。结论:推理上 K8s + vLLM/SGLang 是主流选择,沙箱这类新负载需要专门基础设施。