vLLM TorchTPU 发布：Google Cloud TPU 获 vLLM 后端，还开免费 TPU 池
Xianbao_QIAN · x · 2026-10-21
QIAN Xianbao（ANT/Google 合作方 Inferact 一方）宣布与 Google 联合发布 vLLM TorchTPU——vLLM 的 Google Cloud TPU 后端。他自述从 TensorFlow 1.0 时代就接触 Google 内部 TPU 体系，认为系统优秀但被层层封装拖累，梦想是让 TPU 像 GPU 一样易用。
新后端带来的能力：
- 借助 vLLM 生态，现有大量 vLLM 模型可直接跑在 TPU 上推理服务
- 开源 Pallas kernels
- 多主机并行（multi-host parallelism）
- KV cache offloading
- 分离式推理服务（disaggregated serving）
此外还面向社区贡献者开放免费 TPU 算力池。
「Infra」频道最新
- 前谷歌员工：算力瓶颈不止电力，开源模型正加速替代闭源 — xiaosun86 · 2026-10-21
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21
- Google 联合 Red Hat 发布 llm-d 1.0，K8s 原生分布式推理栈 — rseroter · 2026-10-21
- acs infra 上线免费 base model API，开放 Llama 3.1 8B/405B 供研究者使用 — amplifiedamp · 2026-10-21
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21