vLLM v0.30.0 发布:762 次提交,多项推理性能优化
vllm_project · x · 2026-09-23
开源推理引擎 vLLM 发布 v0.30.0，共 762 次提交、315 位贡献者（含 104 位首次贡献者）。主要更新：
- 混合注意力热路径优化：Kimi K3 精简 KDA/AtRes/MLA，DeepSeek-V4.1-Flash 增加 MXFP8 KV 与异步 Engram，Qwen3.8-Flash-Next 融合 QSA/PLE 降低 sparse-GQA 开销
- HiSparse：在 sparse-MLA 解码下新增主机层，GPU 压力大时仅 top-k 未命中才回退到每请求热缓冲
- Model Runner V2：为流水线并行带来 EAGLE3 风格草稿，并通过在线接受率估计把自适应验证扩展到所有草稿模型投机器
- 水印生成与检测：双密钥 Gumbel-max 水印，支持每请求退出与投机解码
- 新模型支持：GLM-5.3-Flash、K2-Horizon、Cohere Compass、Bailing V3 VL
- Fast Start：量化分片权重常驻每 GPU 守护进程，重启经 CUDA IPC 映射，--load-format ipccache
所属事件:vLLM v0.30.0 发布：762 次提交带来多项性能优化(3 条相关)→
「Infra」频道最新
- 地理空间数据栈全景图发布：从卫星观测到 AI 上下文基础设施 — clemnt · 2026-11-11
- 降价反而更贵:新模型太爱自查，单任务成本涨31% — tengyanAI · 2026-11-11
- Anthropic IPO 需求火爆传拟上调定价，目标估值 1.4 万亿美元 — firstadopter · 2026-11-11
- 本地 LLM 路由器 SimpleHarn：显存不够就拒绝加载模型 — legislat · 2026-11-11
- Rivet 推出 SQLite Forking:20ms 分叉 agent 线程且零数据拷贝 — samgoodwin89 · 2026-11-11
- 法国网友提议数据中心向周边居民付费补偿 — clemnt · 2026-11-11