升级前必读:vLLM v0.29.0 移除十个弃用架构,默认行为多处变更
vllm_project · x · 2026-09-11
vLLM v0.29.0 升级注意事项:
- 新默认:所有模型启用 MRV2,TP CUDA 组默认 FlashInfer all-reduce,SWA/SSM 模型的 prefixcacheretentioninterval 置 0
- 部分尚不支持的 ROCm 模型与功能仍保留 MRV1
- Prefix-cache NONEHASH 已确定性化,分布式 KV cache 用户可去掉 PYTHONHASHSEED
- 移除十个弃用架构;FlexOlmo、Olmo3、Hunyuan V1/VL 转 Transformers 后端
- 移除 PyAV 视频解码器,改用 OpenCV 或 Torchcodec
- python -m vllm.entrypoints.openai.apiserver 弃用,改用 vllm serve
服务端与前端亮点:Mooncake Store 支持 decode KV offload;新增队列准入控制参数 --max-num-queued-reqs/--max-num-queued-tokens;新增 Anthropic Messages API 的 /v1/messages/render 端点;Rust 前端 gRPC 支持音视频输入;cachesalt 长度加限,修复调度器 CPU 耗尽 DoS。
所属事件:vLLM v0.29.0发布：Blackwell延迟降33.6%，277人参与(4 条相关)→
「Infra」频道最新
- 开源项目 LEANN 称向量库存储省 97%,6000万文本块 201GB 压到 6GB — Promptmethus · 2026-10-27
- 富士康 Rubin 机柜减产属实:2026 年出货不足 50 万颗 — zephyr_z9 · 2026-10-27
- Signal65 实测 DeepSeek-V4.1-Flash-1017:默认档达到原版极限档成绩 — ryanshrout · 2026-10-27
- GPT-6.1 Terra 单任务成本仅 $0.67，为最便宜的前沿模型 — bindureddy · 2026-10-27
- Volta 发布 Blackwell 内核验证器，让 LLM 直接生成 PTX 绕过编译器层 — Azaliamirh · 2026-10-27
- 台积电台湾员工家庭移居亚利桑那,惊觉美国高中课业轻松太多 — Polymarket · 2026-10-27