vLLM 原班人马创业公司用 16 块 TPU 跑 Kimi K3，比 GB200 快 57%
量子位 · wechat · 2026-09-26
推理创业公司 Inferact（vLLM 原始团队创办，a16z 领投 1.5 亿美元种子轮、估值 8 亿美元）发布 megakernel 方案：16 块 Google TPUv7 跑 Kimi K3 达到每秒 709 token，比同配置 16 块 GB200（452 token/s）快 57%，代码已开源。要点：
- 同条件对照：同样 16 芯片、同样 vLLM、同样模型，唯一变量是芯片与 kernel。关推测解码后裸速差距近一倍（249 vs 127 token/s）；Qwen3-827B 上差距更大（1515 vs 695）
- 精度无损：greedy decoding 下 GPQA-Diamond 94.4%、GSM8K 97.2%，与 GPU 完全一致
- megakernel 原理：推理瓶颈在数据搬运而非计算；传统方案拆成几百个小 kernel，交接间隙浪费带宽。Inferact 用 Pallas 手写，把 K3 的 92 层 MoE 塞进一个程序，消除 kernel 边界，实现跨层权重预取，带宽几乎无空转
- 硬件巧合：TPU 的 64MiB 软件管理 VMEM 天然适合这种编排；GB200 片上内存 38MiB 由硬件调度，且 HBM 带宽（8000GB/s）反而更高，输在软件层
- 编译耗时从 XLA 的 30 分钟以上降到 90 秒内；当前为 K3 定制，将扩展到更多架构
该工作来自 Inferact 与 Google Cloud 的联合工程合作，目标是让 TPU 成为 vLLM 一等公民。
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元，锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11