TPUv7 推理实测破 700 tok/s，快于英伟达 GB200 近六成

vLLM 维护者的最新测试显示，通过 Megakernel 优化，谷歌 TPUv7 运行 Kimi K3 时可达每用户约 700 tok/s 的推理速度，比英伟达 GB200 NVL72 基线快 56%。与此同时，inferact 团队开源了据称首个 TPU 推理 megakernel，实测低并发解码下达到 709 tokens/s，为 TPU 生态的推理性能优化提供了新工具。

2026-09-24 ~ 2026-09-24 · 2 条相关

• TPU 推理 megakernel 开源：Kimi K3 达 709 tokens/s 超 GB200 — vllm_project · 2026-09-24
• vLLM 实测 TPUv7 达 700 tok/s，比英伟达 GB200 NVL72 快 56% — woosuk_k · 2026-09-24