vLLM v0.29.0 性能升级:Blackwell 端到端延迟降 33.6%,内核级提速 7 倍
vllm_project · x · 2026-09-11
vLLM 官方发布 v0.29.0 性能与硬件优化汇总:
- Kimi-K3:Mamba metadata prep 合并为单次 Triton launch,内核级提速 6.67.6x
- 批次不变性:按架构逐个调优,RTX 4090D / H20 上解码内核约 3x 提速
- Blackwell 自动调优:端到端延迟降低 33.6%
- NVIDIA:DeepSeek V3.2 与 GLM-5.2 的 DSA 注意力在每款 GPU 上都走 CUDA 实现
- AMD ROCm:W4A4 默认使用预重排 asm GEMM;ROCr/CLR 基础镜像修复 graph replay 段错误,并发 1 时 TPOT 最高改善约 20%
- CPU:新增 AMX MLA 后端,DeepSeek V2/V3/R1 可端到端运行
- Intel XPU:新增 INC int4 W4A8 linear 后端与 AutoRound MXFP8 MoE 支持
所属事件:vLLM v0.29.0发布：Blackwell延迟降33.6%，277人参与(4 条相关)→
「Infra」频道最新
- 开源项目 LEANN 称向量库存储省 97%,6000万文本块 201GB 压到 6GB — Promptmethus · 2026-10-27
- 富士康 Rubin 机柜减产属实:2026 年出货不足 50 万颗 — zephyr_z9 · 2026-10-27
- Signal65 实测 DeepSeek-V4.1-Flash-1017:默认档达到原版极限档成绩 — ryanshrout · 2026-10-27
- GPT-6.1 Terra 单任务成本仅 $0.67，为最便宜的前沿模型 — bindureddy · 2026-10-27
- Volta 发布 Blackwell 内核验证器，让 LLM 直接生成 PTX 绕过编译器层 — Azaliamirh · 2026-10-27
- 台积电台湾员工家庭移居亚利桑那,惊觉美国高中课业轻松太多 — Polymarket · 2026-10-27