vLLM 合入 NVIDIA 优化,GB300 上 Kimi K3 解码大幅提速

NVIDIA 与 vLLM 项目合作,为月之暗面 Kimi K3 模型打造专用解码优化并已合入主线(PR #61867)。该方案基于统一 CuTe DSL 解码路径,将 attention、MoE 与通信融合,在 GB300 NVL72 系统上实现 1.5-2 倍解码提速,batch 1 场景下解码速度可达 842 tokens/s,显著提升单卡推理性能。

2026-10-18 ~ 2026-10-18 · 2 条相关

• vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18
• NVIDIA 优化合入 vLLM：GB300 上 Kimi K3 解码提速 1.5-2 倍 — marksaroufim · 2026-10-18