vLLM v0.31.0 发布：快照与 preload 破解冷启动难题

vLLM 于 10 月 7 日发布 v0.31.0，包含来自 307 位贡献者的 717 个提交，重点解决推理服务重启时反复加载大体积量化权重的痛点。新特性包括 vllm preload 守护进程，让量化权重常驻显存免重启；以及基于 CRIU 的快照功能，通过 vllm snapshot create/restore 将冷启动改造为进程级恢复，显著缩短启动等待时间。

2026-10-07 ~ 2026-10-07 · 3 条相关

• vLLM v0.31.0 发布:717 个提交,vllm preload 让量化权重常驻显存免重启 — lmoroney · 2026-10-07
• vLLM v0.31.0 发布：CRIU 快照让推理引擎冷启动变成进程恢复 — vllm_project · 2026-10-07

另有 1 条近重复转述:AccBalanced