首届 PyTorch 马德里 meetup 聚焦开源推理栈：vLLM、llm-d 与 K8s GPU 编排
SergioPaniego · x · 2026-10-15
首届 PyTorch Madrid meetup 举行，首场演讲深入开源 AI 推理栈：介绍 vLLM 与 llm-d、分布式推理，以及 Kubernetes 上更智能的 GPU 编排。
现场幻灯片显示，llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理项目，在 vLLM 之上加一层智能编排：按 prefill GPU（算力优化，构建 KV cache）与 decode GPU（内存优化，读取 KV cache）自动扩缩，并通过感知推理拓扑的 Inference Gateway 路由请求；HuggingFace 模型可原生运行无需转换。项目开源地址 github.com/llm-d。
「Infra」频道最新
- ASML 三季度卖出 17 台 EUV 光刻机，单价最高 4 亿美元 — NinaDSchick · 2026-10-15
- 通胀超预期叠加 AI 投资疑虑,费城半导体指数较高点跌超 20% — nordicinst · 2026-10-15
- Luminal 推理云日处理 2.3 万亿 token,将向公众开放 — AccBalanced · 2026-10-15
- Thinky FAQ 披露:Dimuon 优化器对 RL 无增益,建议只调学习率 — eliebakouch · 2026-10-15
- vLLM-Metal 合并睡眠模式：Mac 空闲时归还 KV cache 内存 — abhijithneil · 2026-10-15
- Neocloud 推理生意之辩:95% GRR 高粘性能否敌长期算力绑定 — Ronangmi · 2026-10-15