Google Cloud 携手 Inferact:vLLM 将把 TPU 变为开源推理一等公民
vllm_project · x · 2026-09-15
- Google Cloud 与 vLLM 背后公司 Inferact 宣布联合工程合作,让 TPU 成为 vLLM 的一等支持目标,所有成果均开源。
- 合作涵盖:面向生产的服务特性与优化 kernel、经 TorchTPU 的原生 PyTorch 路径、对新发布前沿模型的 day-0 支持。
- 同时推出社区计划:为开源贡献者提供共享 TPU 算力,以及 Inferact 核心 vLLM 维护者的专属 review 与设计支持。
- 背景数据:vLLM 支持 5000+ 模型架构、3000+ 贡献者,承载全球大量推理流量;Anthropic 去年承诺扩至最多 100 万颗 TPU,最新一代 Ironwood 专为推理设计。
「Infra」频道最新
- OpenAI 访谈：内核优化让 GPT-5.6 Sol 服务成本降 20% — TheTuringPost · 2026-09-15
- Devin 接管 H100 自主实验：训练 kernel 峰值内存降 46%、延迟降 52% — AAAzzam · 2026-09-15
- 两大约束下 Mac 跑 AI 反超：统一内存大、无障碍服务助力 computer use — dotey · 2026-09-15
- 5 个生产应用月 200 万请求仅花 6 美元，Cloudflare 全家桶成本碾压 Vercel 组合 — viksit · 2026-09-15
- 3090+Arc B70 混插跑 LLM?Reddit 求解 56GB VRAM 混合方案 — overand · 2026-09-15
- Abnormal AI 用 Bedrock AgentCore 日拦数十亿钓鱼邮件,80% 代码由 agent 参与 — AWS ML Blog · 2026-09-15