首个 TPU 推理 megakernel 开源，速度超 GB200

inferact 团队开源了据称首个 TPU 推理 megakernel，将整个 Kimi K3 模型跑在单个 Pallas kernel 中，配合 DSpark 投机解码，在低并发解码下达到 709 tokens/s。vLLM 维护者的最新测试也显示，通过 Megakernel 优化，TPUv7 运行 Kimi K3 可达每用户 700 tok/s，比英伟达 GB200 NVL72 基线快 56%。

2026-09-24 ~ 2026-09-24 · 3 条相关

• TPU 推理 megakernel 开源：Kimi K3 达 709 tokens/s 超 GB200 — vllm_project · 2026-09-24
• vLLM 实测 TPUv7 达 700 tok/s，比英伟达 GB200 NVL72 快 56% — woosuk_k · 2026-09-24

另有 1 条近重复转述:woosuk_k