vLLM 升级要点：KV 卸载、队列控制与 Blackwell 延迟降 33.6%
vllm_project · x · 2026-09-11
vLLM 项目官方发布升级前须知，涵盖服务、前端与性能改进：
服务与前端
- Mooncake Store 支持 decode KV 卸载
- 新增队列准入控制参数 --max-num-queued-reqs 与 --max-num-queued-tokens
- 新增 /v1/messages/render 端点，支持 Anthropic Messages API
- Rust 前端经 gRPC 支持音频与视频输入
- cachesalt 长度加入上限，修复一个可耗尽调度器 CPU 的 DoS 漏洞
性能与硬件
- Kimi-K3 Mamba 元数据准备合并为单次 Triton launch，内核级提速 6.67.6 倍
- 按架构调优 batch invariance：RTX 4090D / H20 上 decode 内核约 3 倍提升
- Blackwell 自动调优使端到端延迟降低 33.6%
- NVIDIA：DeepSeek V3.2 与 GLM-5.2 DSA 在每款 GPU 上达到 CUDA 实现；AMD ROCm 的 W4A4 默认使用预洗牌 asm GEMM
所属事件:vLLM v0.29.0发布：Blackwell延迟降33.6%，277人参与(4 条相关)→
「Infra」频道最新
- 开源项目 LEANN 称向量库存储省 97%,6000万文本块 201GB 压到 6GB — Promptmethus · 2026-10-27
- 富士康 Rubin 机柜减产属实:2026 年出货不足 50 万颗 — zephyr_z9 · 2026-10-27
- Signal65 实测 DeepSeek-V4.1-Flash-1017:默认档达到原版极限档成绩 — ryanshrout · 2026-10-27
- GPT-6.1 Terra 单任务成本仅 $0.67，为最便宜的前沿模型 — bindureddy · 2026-10-27
- Volta 发布 Blackwell 内核验证器，让 LLM 直接生成 PTX 绕过编译器层 — Azaliamirh · 2026-10-27
- 台积电台湾员工家庭移居亚利桑那,惊觉美国高中课业轻松太多 — Polymarket · 2026-10-27