KubeCon 热点：推理成为 Kubernetes 核心议题，五大组件全景拆解

AccBalanced · x · 2026-11-16

KubeCon 本周的核心主题是推理（Inference）。作者把生产级 LLM 推理在 Kubernetes 上的关键组件逐层拆开：

GPU 与内存分配：动态资源分配（DRA）负责 GPU 切片，KEDA/Karpenter 负责扩缩容；配图显示 DRA 通过 MIG/HAMi 切片发放 GPU，Kueue 管理 GPU 配额
vLLM 服务：借助 PagedAttention 做 KV 缓存，降低内存浪费、提升吞吐
推理感知网关：基于 Gateway API Inference 扩展（如 agentgateway）做 LLM 路由
分布式推理调度：llm-d 在 vLLM 之上做缓存感知的请求调度，但配图指出「大多数团队会跳过这一层」
隔离：跑在这套基础设施上的 Agent 需要沙箱隔离方案

整体勾勒出一条从 agent 沙箱 → 网关 → llm-d 调度 → vLLM prefill/decode 分离（NIXL 传 KV cache）→ GPU 节点的完整推理架构。

「编程与Agent」频道最新