SGLang登陆Google TPU：实现多款主流大模型无缝迁移
BanghuaZ · x · 2026-07-31
Google Cloud 与 RadixArk 达成合作，将开源推理框架 SGLang 引入 TPU 平台。
- 当前支持：开发者可通过 SGL-JAX 在最新一代 TPU 上运行 SGLang，已支持 Gemma、Qwen、DeepSeek、Kimi、Grok 等主流大语言模型，以及 Wan、Flux 等扩散模型。
- 未来规划：今年晚些时候将推出 PyTorch 原生后端 SGL-torchtpu，支持全尺寸前沿模型的多主机运行，并提供数据/张量/专家/上下文等全方位并行能力。
- 生态目标：承诺实现新模型在 TPU 上的 Day 0 支持，使 TPU 成为高效且即插即用的前沿推理替代方案。
所属事件:SGLang 联手 Google Cloud 与 RadixArk 登陆 TPU(6 条相关)→
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16