SemiAnalysis 预告 TPU 深度评测：TPUv7 外部 TCO 低至 $0.181/M tokens

firstadopter · x · 2026-10-14

firstadopter（SemiAnalysis 创始人 Dylan Patel 旗下账号）透露 SemiAnalysis 有一系列 TPU 测量工作即将发布。配图为 InferenceX 演示幻灯片，关键数据：

TPU Preview Scope：FP8 对比结果已出；TPUv7（Ironwood）官方预览采用聚合 serving 与 STP，disaggregation、MTP 和 AgentX 对比仍在后续计划；serving 软件用 vLLM on TorchTPU。
外部 TCO（100 tok/s/user，Qwen3.5 397B FP8 8K/1K STP）：TPUv7 为 $0.181/M 总 tokens，对比 B200 $0.222、B300 $0.276。
同一张图对比 TPU、NVIDIA、AMD：Qwen3.5 397B FP8 8K/1K 工作负载下，内部 TCO 为每 TPU 芯片小时 $1.03；低端到端延迟下 B200/GB200 领先，较高延迟下 TPUv7 领先。
后续计划：TPUv8i 原生 FP4、FP4 vs FP4 对比、disaggregated prefill/decode、MTP、AgentX on TPUv7。

「Infra」频道最新