SGLang 联手 Google Cloud 与 RadixArk，TPU 将成前沿推理高性价比选项

ying11231 · x · 2026-08-01

RadixArk、Google Cloud 与 SGLang 社区达成合作，致力于让 TPU 成为运行前沿大模型的高性价比且易于接入的推理路径。

目前 SGL-JAX 已支持在最新一代 TPU 上运行主流开源模型（如 Gemma、Qwen、DeepSeek 等）。此次合作将 SGLang 的生产级特性（如 5D 并行、Radix Cache、推测解码等）引入 TPU。此外，今年晚些时候将推出 SGL-torchtpu 作为 PyTorch 原生后端，让开发者能使用标准 PyTorch 工具在 TPU 上运行 LLM。