SGLang联手Google Cloud全面支持TPU推理
开源大模型推理框架 SGLang 宣布与 Google Cloud 及 RadixArk 展开合作,正式将框架引入 TPU 平台。基于 SGL-JAX,开发者可以在最新一代 TPU 上无缝、高效地运行主流大语言模型和扩散模型,获得开箱即用的高性价比推理体验。
2026-07-30 ~ 2026-07-31 · 3 条相关
- SGLang 联手 Google Cloud,全面支持 TPU 高效推理 — BanghuaZ · 2026-07-30
- SGLang 联合 Google 与 RadixArk,为大模型提供原生 TPU 推理支持 — ying11231 · 2026-07-31
- SGLang登陆Google TPU:实现多款主流大模型无缝迁移 — BanghuaZ · 2026-07-31