TPU 推理 megakernel 开源：Kimi K3 达 709 tokens/s 超 GB200
vllm_project · x · 2026-09-24
inferact 团队开源了据称是首个 TPU 推理 megakernel，让 Kimi K3 在低并发解码下达到 709 tokens/s，对比 GB200 基线的 450 tokens/s（均用 DSpark 投机解码）。K3 全部 92 层 MoE 在单个 Pallas kernel 中运行，权重预取跨层边界，使一层的数据传输与前一层计算重叠。不开投机解码时，batch size 1-8 下约为 GB200 基线的 1.4-2 倍。vLLM 官方账号转发了该成果。
所属事件:首个 TPU 推理 megakernel 开源，速度超 GB200(3 条相关)→
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12