Kimi K3 跑 vLLM + TPU v7 达每用户 391 tokens/s，megakernel 已开源
woosuk_k · x · 2026-10-21
Inferact 团队报告，在 SemiAnalysis 的 AgentX 基准上，用 vLLM TorchTPU 在 TPU v7 上运行 Kimi K3，达到每用户 391 tokens/s 的吞吐。
该结果基于其 TPU megakernels 实现，并在真实的长上下文、生产级 agentic 负载下保持性能。结果可在 InferenceX 公开查看，megakernels 已开源。
「Infra」频道最新
- GLM-5.3-Flash NVFP4 实测：2x H200 与 4x RTX Pro 6000 吞吐几乎打平 — TheZachMueller · 2026-10-21
- DeepSeek V4.1 Flash 推理部署拆解：Engram 减参 30% + WideEP 摊薄权重 — teortaxesTex · 2026-10-21
- llm-d 1.0 发布：多租户 QoS 与前缀缓存路由进入生产级推理 — _ScottCondron · 2026-10-21
- DeepInfer 算账:1GW GB200 按现价可做出 1000 亿美元年收入 — bookwormengr · 2026-10-21
- FastVideo 发布 FastH3 Omni 量化权重合集:FP8/NVFP4 适配 ComfyUI — multimodalart · 2026-10-21
- 低延迟语音模型该端侧常驻：Phonon 开源引发讨论 — timshi_ai · 2026-10-21