vLLM v0.31.0 发布：CRIU 快照让推理引擎冷启动变成进程恢复
vllm_project · x · 2026-10-07
vLLM 官方发布 v0.31.0，核心新特性是用 CRIU 把「冷启动」改造成进程级恢复：
- vllm snapshot create/restore：对运行中的 TP1 引擎做检查点，恢复时无需重新加载权重，直接还原活跃推理引擎
- vllm preload：常驻守护进程，让量化后的权重在重启间保持驻留
作者称「冷启动从此是一个 Linux 问题」，对频繁重启、抢占式调度场景下的推理服务可用性是实质改进。
所属事件:vLLM v0.31.0 发布：快照与 preload 破解冷启动难题(3 条相关)→
「Infra」频道最新
- 芬兰勒令谷歌暂停两座数据中心施工，环保评估未过关 — KyeGomezB · 2026-10-07
- Z-Image GGUF 量化实测：Q4_K+Qwen3-4B 塞进 8GB 显存 — Kordeyl · 2026-10-07
- 充电公司 Xeal 计划在美部署 10 万块英伟达 GPU,建边缘推理网络 — Nandu_alias_Parthu · 2026-10-07
- Tokio作者打造的Rust ORM Toasty全面支持Turso数据库 — glcst · 2026-10-07
- Kubernetes 之父创办 Stacklok，用云原生思路重构 coding agent 基础设施 — Latent Space · 2026-10-07
- Ollama v0.40.0上线:Apple Silicon自动启用MLX运行时 — lmoroney · 2026-10-07