专题 · FULL STORY

TorchTPU 开源：PyTorch 原生跑上谷歌 TPU

谷歌在 PyTorch Conference 2026 上联合 Meta 开源 TorchTPU，实现 PyTorch 对 TPU 的原生支持；随后谷歌开发者博客推出 TPU 版 vLLM 与 SGLang 推理引擎，Meta 证实已在生产环境用 TPU 跑 AI 推理。

2026-10-20 ~ 2026-10-22 · 2 集 · 17 条

第 1 集 · 谷歌联手 Meta 开源 TorchTPU，PyTorch 原生跑上 TPU(2026-10-20,15 条)

谷歌在 PyTorch Conference 2026 上与 Meta 的 PyTorch 团队联合宣布开源 TorchTPU——一个原生 PyTorch on TPU 技术栈，让 TPU 成为与 GPU、CPU 并列的 PyTorch 原生设备后端。项目于 2025 年年中在 Google 启动，目标是把迁移成本降到把 .to("cuda") 改成 .to("tpu") 相当的程度。现有 PyTorch 工作负载只需极少代码改动、继续使用熟悉的 PyTorch API 即可直接运行在 TPU 上。这一发布被普遍解读为 Google 加入 Amazon 行列、挑战 NVIDIA 在 AI 芯片领域主导地位的举措。

已确认

  • TorchTPU 由 Google 与 Meta 合作开发，与 PyTorch 核心维护者紧密协作，以开源项目形式发布；在 PyTorchCon 2026 上由谷歌云的 Bill Jia 与 Meta 的 Zongwei Zhou 正式发布（@PyTorch、@rseroter）。
  • 新方案取代以往基于 Lazy Tensor 的 PyTorch/XLA 编译器排队方案，TPU 成为与 GPU/CPU 并列的 PyTorch 设备（@rohanpaulai）。
  • 现有 PyTorch 工作负载只需极少代码改动即可迁移到 TPU，覆盖训练与推理服务，并可与 vLLM、SGLang 等推理栈集成；@lmoroney 称目标是将迁移成本降到改一行设备代码的程度。
  • 性能方面，训练 Qwen3 8B 达到峰值算力的 52%；据智东西报道，该训练方案已在最大 8000 颗 TPU 的规模上完成验证。
  • Hugging Face 的 Jeff Boudier 宣布通过 TorchTPU，Google TPU 已被 🤗 Transformers、Diffusers 与 Kernels 官方支持。
  • 此次发布还附带一系列其他 TPU 相关更新（@rseroter）。
  • 业内反应积极，@beffjezos 等感叹「TPU 回来了（从没离开过）」，算力侧去 NVIDIA 化讨论升温。
  • 背景：PyTorch 承载约 85% 的 AI 应用，生态意义重大（@gaganghotra 转述）。

为什么重要

  • PyTorch 是当前 AI 研究与开发的主流框架，原生支持 TPU 大幅降低了开发者使用 Google 自有加速硬件的门槛，减少对 NVIDIA GPU 生态的依赖。
  • Hugging Face 核心库的官方支持意味着主流开源模型生态与 TPU 的对接门槛进一步降低，实际可用性从「技术可行」走向「开箱即用」。
  • 8000 颗 TPU 规模的验证训练表明该方案不只是实验性玩具，具备面向大规模训练的可行性。
  • 结合 Amazon 此前的类似动作，云厂商正通过框架层的开放性争夺 AI 算力市场，TorchTPU 是这一竞争格局中的关键一步。

第 2 集 · Meta 已在生产环境用 Google TPU 跑 AI 推理(2026-10-21,2 条)

Google 开发者博客发布 TPU 版 vLLM 与 SGLang 原生推理引擎，并得到 Meta 方面背书：Meta PyTorch-TPU 负责人 Zongwei Zhou 确认已用 Google TPU 在生产环境运行 AI 推理。随后 SGLang 联合 Google TPU 团队与 Meta PyTorch 团队发布 SGLang-TorchTPU 插件，让 SGLang 可直接跑在 TPU 上，Meta 生产环境中单流解码速度达 770 tokens/s。