Google Cloud 携手 Inferact:vLLM 将把 TPU 变为开源推理一等公民
vllm_project · x · 2026-09-15
- Google Cloud 与 vLLM 背后公司 Inferact 宣布联合工程合作,让 TPU 成为 vLLM 的一等支持目标,所有成果均开源。
- 合作涵盖:面向生产的服务特性与优化 kernel、经 TorchTPU 的原生 PyTorch 路径、对新发布前沿模型的 day-0 支持。
- 同时推出社区计划:为开源贡献者提供共享 TPU 算力,以及 Inferact 核心 vLLM 维护者的专属 review 与设计支持。
- 背景数据:vLLM 支持 5000+ 模型架构、3000+ 贡献者,承载全球大量推理流量;Anthropic 去年承诺扩至最多 100 万颗 TPU,最新一代 Ironwood 专为推理设计。
「Infra」频道最新
- 8GB 显卡本地跑 Flux+Wan 2.2：三个设置错误拖慢了所有渲染 — roro9- · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30