vLLM v0.32.0 发布：814 次提交，低精度 KV 全面铺开，吞吐最高提升 85%

vllm_project · x · 2026-10-18

vLLM v0.32.0 发布，包含 814 次提交、363 位贡献者（121 位首次参与）。

新特性

新增 /v1/systemone 结构化决策端点；通用 hf tool/reasoning parser 直接读 checkpoint 的 responsetemplate，免去模型专属 parser
低精度 KV cache 全面铺开：NVFP4 扩展到 SM8x/90/12x；GLM-5.x 在 SM100 默认 FP8 KV，显存减半、吞吐 +2.35.5%（TTFT 代价 711%）；ROCm 获得 4-bit KV，密度约为 FP8 两倍
Model Runner V2：GPU n-gram 投机解码、Elastic EP、MLA 的 PP+CP，ROCm 上默认启用
启动与服务提速：预编译 kernel 下载、autotune 预加载，多 API worker 下请求吞吐 +4385%
新模型支持：EmbeddingGemma 2、MiniCPM-V 4.7、Nemotron 3.5 ASR
3 项安全修复 + CORS 加固

「Infra」频道最新