SGLang 联手 Google Cloud，全面支持 TPU 推理加速
hsu_byron · x · 2026-07-31
RadixArk 与 Google Cloud 宣布与 SGLang 社区合作，致力于让 TPU 成为高效的前沿模型推理路径。目前，SGL-JAX 已经支持在最新一代 TPU 上运行主流开源模型，包括 Gemma、Qwen、DeepSeek、Grok 等，并覆盖了视频和图像生成模型。
此次合作将 SGLang 的核心生产级功能引入 TPU 生态，涵盖 5D 并行、Radix Cache、量化以及推测解码等技术。开发者可以通过 SGL-torchtpu 使用原生的 PyTorch 路径，在保持相同 API 和功能的前提下，实现无缝的 TPU 推理体验。
所属事件:SGLang 联手 Google Cloud 与 RadixArk 登陆 TPU(6 条相关)→
「Infra」频道最新
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16