Red Hat 联合 Google 等发布开源推理栈 llm-d 1.0

在 PyTorch Conference 上，Red Hat 联合 Google、IBM 等公司发布开源、Kubernetes 原生的分布式 LLM 推理项目 llm-d 1.0，CoreWeave 作为创始成员宣布支持。新版本面向生产工作负载，提供多租户服务质量与前缀缓存路由等能力，标志着该项目进入生产级推理阶段。

2026-10-21 ~ 2026-10-21 · 2 条相关

• Google 联合 Red Hat 发布 llm-d 1.0，K8s 原生分布式推理栈 — rseroter · 2026-10-21
• llm-d 1.0 发布：多租户 QoS 与前缀缓存路由进入生产级推理 — _ScottCondron · 2026-10-21