PyTorch 发布原生 TPU 后端 TorchTPU,vLLM 与 SGLang 可直接运行

PyTorch 官方宣布推出全新的原生 TPU 后端 TorchTPU,基于该后端构建的 vLLM 和 SGLang 推理引擎现已可以在 Google TPU 上原生运行,相关成果将在 PyTorch Conference 上进一步介绍,Google 工程师也参与了该项目。这一进展意味着主流开源推理框架不再局限于 NVIDIA GPU,有望降低 TPU 上部署大模型推理的门槛。

2026-10-02 ~ 2026-10-02 · 2 条相关

• PyTorch 推出 TorchTPU,vLLM 与 SGLang 可原生跑 TPU — PyTorch · 2026-10-02
• PyTorch 推出 TorchTPU,vLLM 和 SGLang 可原生跑在 TPU 上 — PyTorch · 2026-10-02