vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s

vllm_project · x · 2026-10-18

vLLM 与 NVIDIA 合作,在 GB300 NVL72 上为 Kimi K3 构建了统一 CuTe DSL 解码路径,融合 attention、MoE 与通信,batch 1 + DSpark 达 842 tokens/s,多配置解码吞吐提升 1.5–2×,AgentX 负载 P90 交互性最高提升 1.8×。

文章还讨论了 agent 辅助内核开发的工程挑战:AI 生成的优化代码速度超过了人工审查能力,为此提出 fast-track 优化 RFC——通过隔离变更、限定支持范围、自动验证可靠性与性能,在降低审查负担的同时控制风险。