NVIDIA 发布 AI Cluster Runtime:为 Dynamo 推理栈提供经验证的 K8s 配方
nvidia · x · 2026-11-03
NVIDIA 推出 AI Cluster Runtime (AICR)，把分布式推理框架 Dynamo 及其配套基础设施打包成经过验证的部署配方，并在技术博客给出完整的 Kubernetes 配置、部署与验证 walkthrough。
- AICR 将 GPU 驱动栈、Dynamic Resource Allocation、gang 调度、节点健康信号、Prometheus 指标等运行时要求固化到带固定组件版本的可复现 recipe 中
- Dynamo 1.4.2 请求平面使用 TCP、KV-cache 事件使用 ZMQ，原生 Frontend 路由器和 Gateway API Inference Extension (GAIE)/EPP 两条路径都能做 cache-aware 路由
- 五步流程：集群快照 → 生成 Dynamo recipe → 渲染部署 bundle → Helmfile/GitOps 部署运行时 → 验证后再装应用负载
- 团队将在 KubeCon North America 现场演示
「Infra」频道最新
- 业内人士：没有 DeepSeek 级 KV-cache 管理，推理厂商难生存 — AccBalanced · 2026-11-03
- 推理服务商从业者：这是门手艺，很多 provider 撑不下去 — AccBalanced · 2026-11-03
- AI agent 自创「套娃 k8s」架构：kcp 分区叠 bare metal 叠 KubeVirt 叠 guest 集群 — sloppenheimer · 2026-11-03
- RTX 8000 48GB 两年降价至 $2100，作者称其为家用跑大模型最优解 — triynizzles1 · 2026-11-03
- OpenAI 自研 Git 后端 Pando:推送延迟降 80%,日服务近 1PB 数据 — gdb · 2026-11-03
- Periodic Labs 将在 SGLang Summit 分享物理实验 RL 基础设施实践 — hsu_byron · 2026-11-03