Google 联合 Red Hat 发布 llm-d 1.0，K8s 原生分布式推理栈
rseroter · x · 2026-10-21
在 PyTorch Conference 上，Google 与 Red Hat、IBM 等共同发布 llm-d 1.0——一个开源、Kubernetes 原生的分布式 LLM 推理服务栈，属于 CNCF Sandbox 项目，有超过 25 个组织、500 多名贡献者参与。
要解决的问题：推理负载正从单轮 chat 转向多步 agent 和 RL rollouts——请求扇出到多个工具、共享长前缀、突发式到达，单机或轮询负载均衡会导致重复计算前缀、显存被重复状态占满、一个 agent 循环拖垮交互用户。
核心能力（见架构图三阶段演进）：
- 缓存感知路由与负载感知 HA，替代 round-robin
- Prefill/Decode 分离（disaggregated serving）
- 分层 KV cache：显存 ↔ CPU 内存 ↔ 存储
- 多租户流量控制与优先级路由（Free/Plus/Pro 分级）
演示中，GKE 上 1000 个沙箱化 agent 通过单一 llm-d 端点，跨 vLLM、SGLang 及 Google Cloud TPU/GPU 混合机群扩容。
「Infra」频道最新
- 机器人推理平台上线 Deployments:可云端部署 HF 微调模型 — arnie_hacker · 2026-10-21
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21
- acs infra 上线免费 base model API，开放 Llama 3.1 8B/405B 供研究者使用 — amplifiedamp · 2026-10-21
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21