SGLang 联合 Google 与 RadixArk，为大模型提供原生 TPU 推理支持
ying11231 · x · 2026-07-31
开源 LLM 推理框架 SGLang 宣布与 Google Cloud 以及 RadixArk 展开合作，共同优化大语言模型和扩散模型在 TPU 上的推理体验。
目前，基于 JAX 开发的 SGL-JAX 已达到生产级标准，能够为 Gemma、Qwen、DeepSeek 等主流模型提供快速的原生 TPU 推理。此次合作将使 TPU 全面解锁 SGLang 的生产级特性，包括 5D 并行、Radix Cache、量化以及推测解码等。此外，团队还在推进 SGL-torchtpu，旨在为 PyTorch 用户提供原生的 TPU 推理路径。
所属事件:SGLang 联手 Google Cloud 与 RadixArk 登陆 TPU(6 条相关)→
「Infra」频道最新
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16