SGLang 联手 Google Cloud，全面支持 TPU 高效推理
BanghuaZ · x · 2026-07-30
SGLang 团队宣布与 Google Cloud 合作，正式将 SGLang 推理框架引入 TPU 平台，为前沿大模型提供开箱即用的高性价比推理方案。
核心信息：
- 广泛的模型支持：SGL-JAX 已支持在最新一代 TPU 上运行主流开源模型，涵盖 Qwen、DeepSeek、Gemma、Kimi 等，并兼容 Wan 和 Flux 等多模态生成模型。
- 完整的生产级特性：TPU 版本解锁了 SGLang 的核心推理优化技术，包括 5D 并行、Radix Cache、HiCache、量化以及推测解码。
- 无缝迁移：提供 SGL-torchtpu 这一原生 PyTorch 路径，且保持与原有 API 完全一致，已在 GPU 环境运行的团队可几乎零成本迁移至 TPU。
所属事件:SGLang 联手 Google Cloud 与 RadixArk 登陆 TPU(6 条相关)→
「Infra」频道最新
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16