SGLang 联手 Google Cloud 与 RadixArk 登陆 TPU
SGLang 团队宣布与 Google Cloud 及 RadixArk 展开合作，正式将开源大模型推理框架 SGLang 引入 Google Cloud TPU 平台。目前，基于 JAX 开发的 SGL-JAX 已达到生产级标准，开发者可在最新一代 TPU 上运行 SGLang，并支持 Gemma、Qwen、DeepSeek 等主流开源模型的无缝迁移。此举旨在为前沿大语言模型和扩散模型提供开箱即用、高性价比的推理加速方案，使 TPU 成为高效的前沿模型推理路径。
已确认
- 合作内容：SGLang 社区联合 Google Cloud 与 RadixArk，共同优化大模型在 TPU 上的推理体验。
- 技术路径：目前基于 JAX 开发的 SGL-JAX 已达到生产级标准，开发者可借此在最新一代 TPU 上运行 SGLang。
- 模型支持：已支持 Gemma、Qwen、DeepSeek 等主流开源大模型的无缝迁移。
尚未确认
- 后续将推出的原生 PyTorch 支持尚未明确具体的发布时间表。
为什么重要
- 拓宽硬件生态：此次合作打破了原有的单一硬件生态限制，为开发者提供了除传统 GPU 外的高效推理算力新选择，有助于利用 TPU 的架构优势提升推理效率并降低成本。
2026-07-30 ~ 2026-08-01 · 6 条相关
一手来源
- SGLang 联手 Google Cloud，全面支持 TPU 高效推理 — BanghuaZ ·
- 【源头】SGLang 联手 Google Cloud，全面支持 TPU 高效推理 — BanghuaZ · 2026-07-30
- SGLang 联合 Google 与 RadixArk，为大模型提供原生 TPU 推理支持 — ying11231 · 2026-07-31
- SGLang登陆Google TPU：实现多款主流大模型无缝迁移 — BanghuaZ · 2026-07-31
- Google 联手 RadixArk，将 SGLang 引入 Cloud TPU — ying11231 · 2026-07-31