SGLang 联手 Google Cloud 与 RadixArk，TPU 将成前沿推理高性价比选项
ying11231 · x · 2026-08-01
RadixArk、Google Cloud 与 SGLang 社区达成合作，致力于让 TPU 成为运行前沿大模型的高性价比且易于接入的推理路径。
目前 SGL-JAX 已支持在最新一代 TPU 上运行主流开源模型（如 Gemma、Qwen、DeepSeek 等）。此次合作将 SGLang 的生产级特性（如 5D 并行、Radix Cache、推测解码等）引入 TPU。此外，今年晚些时候将推出 SGL-torchtpu 作为 PyTorch 原生后端，让开发者能使用标准 PyTorch 工具在 TPU 上运行 LLM。
所属事件:SGLang 联手 Google Cloud 与 RadixArk 登陆 TPU(6 条相关)→
「Infra」频道最新
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16