vLLM v0.34.0 发布:1061 次提交,GB200 解码提速近 2 倍
vllm_project · x · 2026-11-19
vLLM v0.34.0 正式发布,包含 1061 次提交、412 位贡献者(120 位新贡献者)的工作:
- 新模型:新增 10 个模型,包括 Mistral Large 4、MiniMax-M3.1-Flash、Nemotron-3.5-Transcribe 等。
- 可扩展 KV cache 默认开启:vLLM 会根据预热后实际空闲内存来设定 KV cache 大小,多数模型可获得更大缓存与更高吞吐;gpumemoryutilization 默认改为 1.0。
- Model Runner V2 成为唯一 GPU runner:V1 被移除,VLLMUSEV2MODELRUNNER=0 会在启动时报错。
- 性能:Blackwell 与 MI355X 上大幅提速——GB200 上 Step5 NVFP4 解码最高快 1.95×,GLM-5.3-Flash 吞吐提升 1.6×,GLM-5.3 长提示词 TTFT 快 1.24–1.40×。
升级注意:默认 block size 从 16 改为 64(ROCm 分页注意力仍为 16);ROCm 7.2 镜像移除;需 huggingfacehub ≥ 2.0.0。这些变更可能破坏现有部署,官方给出对应迁移办法。
「Infra」频道最新
- Google 工程师 rakyll 转向 Kubernetes,要在编排层做 agentic 计算 — rakyll · 2026-11-19
- YC 项目 Tilion 发布:号称最快最隐蔽的 agent 浏览器基建 — joshalbrecht · 2026-11-19
- DNeo:改进并行草稿模型的目标特征编码加速推理 — cerebras · 2026-11-19
- 上线仅 19 天,Bittensor 上 Cascade MoE 拿下 GIFT-Eval 预测基准领先成绩 — const_reborn · 2026-11-19
- Sciforium 让 DeepSeek-V4.1-Flash 在 4 张 AMD MI355X 上跑出 P90 1129 tokens/秒 — rohanpaul_ai · 2026-11-19
- Agent 即时生成代码怎么跑?GKE 沙箱方案拆解三大风险 — rseroter · 2026-11-19