vLLM 0.28.0 性能详情：Kimi-K3 优化与硬适配
vllm_project · x · 2026-08-27
vLLM v0.28.0 发布，带来了显著的性能提升与硬件适配：
- Kimi-K3：自适应推测 Token 预算提升 5565% 的 E2E TTFT；可选的共享专家分片每 GPU 节省约 17 GiB 显存。
- 序列并行：合并 all-gathers 操作，内核层面提升 1.53 倍速度。
- NVIDIA：FlashInfer XQA 解码支持 SM12x；SM90 原生 DSA 路径支持 MTP=3。
- AMD ROCm：支持 torch 2.12 / triton 3.7，新增融合 Kimi-K3 KDA 解码内核。
- Intel XPU：新增带分块 GEMM 的 torch linear 后端，XPU 轮子正在发布流程中。
- CPU：新增 MLA 后端，支持 DeepSeek-V2/V3 在 CPU 上运行。
所属事件:vLLM v0.28.0 发布：270 位贡献者带来 584 项提交(3 条相关)→
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15