NVIDIA 优化合入 vLLM：GB300 上 Kimi K3 解码提速 1.5-2 倍
marksaroufim · x · 2026-10-18
vLLM 项目合并了一个 NVIDIA 开发的 Kimi K3 专用解码实现（PR #61867），在 GB300 上实现 1.5-2 倍解码提速。要点：
- 技术细节：基于 CuTeDSL 的持久内核优化，支持 TP8/TP16、NoSpec（至 B64）与 DSpark 验证（3-7 个 draft token）、DCP=TP 的解码上下文并行。
- 实测成绩：FP8 KV Cache、TP16、ISL 1、无投机解码下，B1-B8 批量解码步进比原版快 1.79-1.92 倍（B1 时 3.90ms vs 7.38ms）。
- 启用方式：需 opt-in 配置 --additional-config '{"decodebackend": "latencyspecialized"}'，改动局部化在 vllm/models/kimik3/nvidia/。
作者 marksaroufim 还引申讨论开源社区如何处理大型 AI 生成 PR：现状是放进独立文件夹直接合并，重点从可组合性转向变更的可发现性，"仓库正变成一份有已知读者的博客"。他同时质疑把每个新内核都叫 "Megakernel"——这其实是一个带持久内核和 PDL 的 CUDA graph 引擎，作者本人并未称其为 megakernel。
所属事件:vLLM 合入 NVIDIA 优化,GB300 上 Kimi K3 解码大幅提速(2 条相关)→
「Infra」频道最新
- Yacine 自嘲：绩效按吉瓦时算，不够烧电会被半夜叫醒 — yacineMTB · 2026-10-18
- 爆料称 OpenAI 四月日处理 token 已约 15 万亿，现在或更高 — JoshPurtell · 2026-10-18
- 1.68x 推理加速落地，可直接加速 GRPO 强化学习训练 — yacineMTB · 2026-10-18
- OpenRouter 仅占可触达市场一小部分，日万亿 token 只是零头 — sloppenheimer · 2026-10-18
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18