vLLM v0.29.0 发布:Model Runner V2 成全模型默认,277 人贡献 594 次提交
vllm_project · x · 2026-09-11
vLLM 发布 v0.29.0,由 277 位贡献者(91 位首次参与)的 594 次提交组成,核心变化:
- Model Runner V2 成为所有模型的默认 runner
- Kimi-K3 再度优化,latent tail 下沉到 Mamba metadata 层
- DeepSeek-V4 shared experts 融合进 MegaMoE
- Mamba prefix caching:保留内部 prefill checkpoint,TTFT 提升 925%
- 推测解码通过 API 报告每请求接受率统计
- RL 权重同步新增 shardedrdt P2P 后端,每个 worker 只拉取自己的 TP/EP 分片
- 新模型支持:Hy4-preview、Qwen3.8-Flash-Next、GraniteSWA、NemotronH Omni Reasoning V3
所属事件:vLLM v0.29.0发布：Blackwell延迟降33.6%，277人参与(4 条相关)→
「Infra」频道最新
- 开源项目 LEANN 称向量库存储省 97%,6000万文本块 201GB 压到 6GB — Promptmethus · 2026-10-27
- 富士康 Rubin 机柜减产属实:2026 年出货不足 50 万颗 — zephyr_z9 · 2026-10-27
- Signal65 实测 DeepSeek-V4.1-Flash-1017:默认档达到原版极限档成绩 — ryanshrout · 2026-10-27
- GPT-6.1 Terra 单任务成本仅 $0.67，为最便宜的前沿模型 — bindureddy · 2026-10-27
- Volta 发布 Blackwell 内核验证器，让 LLM 直接生成 PTX 绕过编译器层 — Azaliamirh · 2026-10-27
- 台积电台湾员工家庭移居亚利桑那,惊觉美国高中课业轻松太多 — Polymarket · 2026-10-27