Google 联合 Red Hat/IBM 发布 llm-d 1.0,千级 Agent 实测分布式推理
dl_weekly · x · 2026-10-27
Google 在 PyTorch Conference 上发布 llm-d 1.0,一个开源、Kubernetes 原生的分布式 LLM 推理服务栈,由 Google 与 Red Hat、IBM 等共同发起,是 CNCF Sandbox 项目,汇聚 25 个组织的 500 多名贡献者。
- 背景:推理负载正从单轮对话转向多步 Agent 和 RL rollout,共享长前缀、突发流量,单机或轮询负载均衡会导致重复计算、显存冗余、阻塞交互用户。
- 核心能力:cache-aware 路由、多租户流量控制、分层 KV cache、高可用,可将一组模型服务器变成协调的服务池。
- 演示:在 GKE 上让 1,000 个沙箱 Agent 同时打到单一 llm-d 端点,后端混合 vLLM、SGLang 与 Google Cloud TPU/GPU 混合舰队。
「Infra」频道最新
- Google 与 Meta 联合发布 TorchTPU，PyTorch 原生跑上 TPU — emmanuelvivier · 2026-10-27
- WireGuard 教程：设备跨网络加密互连，无需暴露应用 — victorialslocum · 2026-10-27
- DeepSeek-V4.1-Flash 1.75bpw 量化版上线，专供 128GB Mac 本地跑 — bobby-chan · 2026-10-27
- Unsloth 发布 DeepSeek-V4.1-Flash 本地运行指南：128GB 内存可跑 1M 上下文 — gnukeith · 2026-10-27
- SK hynix 股价腰斩但 DDR5 现货涨 31%，市场押注存储景气和memory周期见顶 — tengyanAI · 2026-10-27
- JustGOAL 论文:通用前沿模型打赢 GPU 内核优化专用 Agent — azed_ai · 2026-10-27