llm-d 1.0 发布：多租户 QoS 与前缀缓存路由进入生产级推理
_ScottCondron · x · 2026-10-21
Red Hat 在 PyTorchCon 发布开源分布式推理项目 llm-d 1.0，CoreWeave 作为创始成员宣布支持。新版本面向生产工作负载提供：多租户服务质量（QoS）保障、零停机滚动更新、以及前缀缓存感知路由，帮助规模化推理并控制 AI serving 成本。
所属事件:Red Hat 联合 Google 等发布开源推理栈 llm-d 1.0(2 条相关)→
「Infra」频道最新
- VectorDash 用 Rust 重写:Windows 本地搜索+剪贴板+AI 助手合一 — andy2na · 2026-10-21
- SpaceX 财报会：算力扩建超预期，资本开支与债务成最大悬念 — JOBhakdi · 2026-10-21
- 企业 AI 数据供应链应从系统记录源头抓起，而非先选模型 — craigmullins · 2026-10-21
- 马斯克:SpaceX 每月新增 20 万 GPU,2027 年算力欲达 13GW — JOBhakdi · 2026-10-21
- SpaceX AI 业务超预期，Q3 净利 44 亿美元实现盈利 — TechCrunch AI · 2026-10-21
- Together AI 柏林 Open Haus:n8n、NVIDIA 工程师谈开源模型生产化 — togethercompute · 2026-10-21