vLLM v0.34.0 发布:1061 次提交,GB200 解码提速近 2 倍

vllm_project · x · 2026-11-19

vLLM v0.34.0 正式发布,包含 1061 次提交、412 位贡献者(120 位新贡献者)的工作:

升级注意:默认 block size 从 16 改为 64(ROCm 分页注意力仍为 16);ROCm 7.2 镜像移除;需 huggingfacehub ≥ 2.0.0。这些变更可能破坏现有部署,官方给出对应迁移办法。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →