SGLang 团队携手 Google：TPUv7 推理性能已可比肩主流 GPU 方案

ying11231 · x · 2026-11-06

SGLang 项目转发并评论了 SemiAnalysis 关于 Google TPU 推理地位的分析文章《The Iron(wood) Throne》。SGLang 团队确认正与 Google 及 radixark 合作，为 Muse Spark Open 构建全流水线 megakernel，针对长上下文 agentic 工作负载深度优化，在 TPUv7 上性能已与主流 GPU 方案非常有竞争力。

SemiAnalysis 报告要点包括：TPU 正在成为 CUDA 护城河的可行替代、NVIDIA 应对压力加大、涉及 Kimi K3、Meta Muse Spark Open、GLM5.3 等模型，以及 TorchTPU、SGLang、vLLM、llm-d、Ray 等推理栈。SGLang-TorchTPU 上还将支持更多模型。