SemiAnalysis 实测 TPU 推理性价比：每美元性能领先 B200 达 50%、B300 近 96%
新智元 · wechat · 2026-09-10
SemiAnalysis 发布谷歌第七代 TPU Ironwood 的首份第三方推理性能测算：在同款开源模型、FP8 对 FP8、输入 8k 输出 1k 的对等负载下，TPU 每美元性能最高领先英伟达 B200 约 50%，对 B300 领先近 96%。
关键数据
- 单用户 100 token/s 吞吐基准下，TPU 比 B200 便宜 19%、比 B300 便宜 34%
- 每百万 token 成本：TPU 0.181 美元，B200 0.222 美元，B300 0.276 美元
- 按谷歌内部 1.03 美元/芯片·小时的 TCO 口径，性价比优势放大至 77%–130%
工程细节：Ironwood 拆为双计算 Die、HBM 为上代 6 倍、原生 FP8；KV Cache 页数翻倍后中位首 Token 延迟骤降 95%；读取/计算块拆分解码吞吐从 64.9k 提至 96.3k token/s；ReduceScatter 与 MoE 重排转移至 SparseCore，最高吞吐提升 26.1%。
生态破壁：TorchTPU 通过 PyTorch PrivateUse1 后端绕过 TorchAX 翻译墙，vLLM/SGLang 可直接复用调度器与 API 层，Pallas 内核可空降。文章还指出黄仁勋 4 月播客中「TPU 不敢跑分」「Anthropic 是特例」的断言正被逐条推翻——Anthropic 已吞下超 100 万颗 TPU（约 40 万买断、60 万租赁），到 2029 年将成全球最大 TPU 单一用户。
「Infra」频道最新
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26