NVIDIA 开源 Agent Substrate:空闲 Agent 可省九成容器开销
YashasGunderia · x · 2026-11-12
- NVIDIA 发布开源项目 Agent Substrate,已被纳入 CNCF Sandbox,主打让大量 Agent 会话复用一小组常驻的 Kubernetes worker Pod:空闲会话会连同完整内存与文件系统状态一起被 checkpoint,再按需恢复到任意空闲 worker 上,官方称密度可达标准容器的 10 倍。
- 核心动机是 Agent 大部分时间在等 LLM 返回,按秒计费的容器资源被白白占用。运行时瞄准三类负载:交替进行 LLM 调用与代码库操作的编码助手、CPU 密集且突发性强的强化学习后训练、短生命周期的 GPU 沙箱(编译与 benchmark)。
- 与 NVIDIA Dynamo 配合:负责推理调度,利用会话身份、KV cache 位置和 tool-call 边界,让相关模型调用落在已持有可复用上下文的 worker 上;并把预计首 token 时间、GPU 池饱和度等信号回传给 Substrate,用于决定会话是驻留、挂起还是即将恢复。
- 上游贡献包括路由器的请求排队(request parking)、microVM 沙箱的每容器资源限制,以及基于 K8s Dynamic Resource Allocation 的厂商中立 GPU 状态暂停/恢复方案;整套栈与 KAI Scheduler 一起运行在 NVIDIA DSX AI Factory 平台上。