首个 TPU 推理 megakernel 开源：Kimi K3 解码达 709 tokens/s 超 GB200
woosuk_k · x · 2026-09-24
- inferact 团队发布首个 TPU 推理 megakernel：整个 Kimi K3 模型跑在单个 Pallas kernel 中，低并发解码在 DSpark 投机解码下达到 709 tokens/s，对比 GB200 基线的 450 tokens/s。
- 不开投机解码时，batch size 1-8 下约为 GB200 基线的 1.4-2 倍，项目今日开源。
- 原理解释（@gaunernst 转述 woosukk）：TPU 只有 1-2 个核心计算单元，而 NVIDIA GPU 有数百个 SM，megakernel 在 GPU 上的瓶颈正是跨 SM 同步，因此在 TPU 上天然适配。
所属事件:首个 TPU 推理 megakernel 开源，速度超 GB200(3 条相关)→
「Infra」频道最新
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12
- 施密特基金会被曝资助法国反数据中心 NGO,行业利益现反差 — StephanSturges · 2026-11-12
- 开源模型千美元级自动攻破 6 版 Firefox,Epoch 揭示补丁窗口攻击扩散 — Epoch AI · 2026-11-12