SemiAnalysis 基准:谷歌 TPUv7 推理性价比最高达英伟达 2.7 倍
SumitGup · x · 2026-11-15
据 SemiAnalysis 的 InferenceMAX 基准，谷歌 TPUv7 (Ironwood) 在许多推理任务上持平甚至超过英伟达 B200/GB300。
- 该基准每晚运行开源模型，在包含长上下文与 agent 负载的真实条件下测量每美元 token 数。
- FP8 对比中，TPUv7 每美元 token 数常为英伟达的 1.2–2.7 倍，部分场景每美元性能高 50%。
- 裸吞吐大致相当，谷歌优势来自更低的总体拥有成本(芯片+系统)；英伟达在部分 FP4 负载和高度优化的机架上仍领先。
- 差距缩小归因于 TPU 在芯片、软件(TorchTPU、vLLM/SGLang 支持)和经济性上的进步，实际表现取决于模型、精度与服务配置。
「Infra」频道最新
- 美法院驳回动议，三星SK海力士美光DRAM限供案将继续审理 — SumitGup · 2026-11-15
- 2009 年黄仁勋就预言 CUDA 市值数十亿美元，当时股价仅 0.2 美元 — GregoryDiamos · 2026-11-15
- 前 NVIDIA 工程师回忆：2012 年建深度学习集群获黄仁勋力挺 — GregoryDiamos · 2026-11-15
- 欧盟开源模型 EUROPA 冲击万亿参数,单卡吞吐已优化 14 倍 — mawcopolow · 2026-11-15
- 买卡、租卡还是调 API?利用率决定每 GPU 小时的真实成本 — Panther1537 · 2026-11-15
- 64 位寻址远未用尽:多数 x86 仅用 48 位,128 位指针纯属浪费 — srimisra · 2026-11-15