SGLang 联手 Google Cloud，全面支持 TPU 高效推理
BanghuaZ · x · 2026-07-30
SGLang 团队宣布与 Google Cloud 合作，正式将 SGLang 推理框架引入 TPU 平台，为前沿大模型提供开箱即用的高性价比推理方案。
核心信息：
- 广泛的模型支持：SGL-JAX 已支持在最新一代 TPU 上运行主流开源模型，涵盖 Qwen、DeepSeek、Gemma、Kimi 等，并兼容 Wan 和 Flux 等多模态生成模型。
- 完整的生产级特性：TPU 版本解锁了 SGLang 的核心推理优化技术，包括 5D 并行、Radix Cache、HiCache、量化以及推测解码。
- 无缝迁移：提供 SGL-torchtpu 这一原生 PyTorch 路径，且保持与原有 API 完全一致，已在 GPU 环境运行的团队可几乎零成本迁移至 TPU。
「Infra」频道最新
- 单张 H200 跑出 0.17 RTF，Fish Audio 拆解免费背后的推理账本 — rohanpaul_ai · 2026-07-30
- MCP协议迎最大更新：核心改为无状态，瞄准企业级扩展 — Ars Technica AI · 2026-07-30
- AI数据中心抢人：高薪招募数千名电工与木匠 — WillRinehart · 2026-07-30
- 微软 CFO 将 AI 算力比作披萨，分析师批其无视泡沫风险 — TiernanRayTech · 2026-07-30
- Nscale 收购 Anyscale，打造全栈 AI 云平台 — GokuMohandas · 2026-07-30
- AWS财报季前瞻：AI算力瓶颈是否已解除？ — tengyanAI · 2026-07-30