SemiAnalysis:TPUv7 推理每美元性能最高超 B200/B300 达 50%

vllm_project · x · 2026-11-06

SemiAnalysis 发布长文《The Iron(wood) Throne》,论述 Google TPU 正在推理侧正面挑战 NVIDIA 的 CUDA 护城河,vLLM 官方账号转推并致谢。

核心论点与事实:

自 2025 年 11 月 SemiAnalysis 预测 Google 对外售卖 TPU 以来,Oracle、OpenAI、Anthropic、Meta 均已成为 TPU 客户
NVIDIA 护城河的核心在软件生态;Google 正通过赞助上游维护者攻入这一层:Meta PyTorch 团队、vLLM(Inferact、RedHat)、SGLang(RadixArk)、llm-d、Ray 等
此前发布的第三方 TPUv7 单轮推理结果:在 Qwen 3.5 397B 的 FP8 同条件对比下,Ironwood 每美元性能最高比 B200/B300 好 50%
本次发布首批 TPUv7 上的长上下文、多轮真实 agent 推理基准(AgentX)结果,覆盖 GLM-5.2、Qwen3.5 397B、Kimi K3,其中 Kimi K3 megakernel 与 vLLM TorchTPU 是关键支撑
文中还提到 NVIDIA「夜以继日工作」应对、Jensen 的反击表态、Meta Muse Spark 开源等

付费文章,标题暗示 TPU 已具备与 CUDA 生态抗衡的可行性。

「Infra」频道最新