vLLM v0.31.0 发布：717 次提交，preload 守护进程让量化权重常驻显存
AccBalanced · x · 2026-10-07
vLLM v0.31.0 周日晚发布，包含来自 307 位贡献者的 717 次提交，重点解决重启服务时大体积量化权重反复加载的痛点。
- vllm preload：新命令启动守护进程，让量化后权重在引擎重启期间常驻 GPU 显存，附带 /health 端点与就绪等待
- 实验性 CRIU 快照：可对单 GPU 上已完全初始化的引擎做快照并恢复，省去冷启动
- 破坏性变更：per-request 的 mmprocessorkwargs 与 mediaiokwargs 默认被拒绝，需显式设置 --trust-request-mm-kwargs；tokenizermode="slow" 已移除，升级生产环境前需检查完整变更清单
所属事件:vLLM v0.31.0 发布：快照与 preload 破解冷启动难题(3 条相关)→
「编程与Agent」频道最新
- Nautilo 更新：支持文本+视觉模型分工，并将推出按价格与安全路由的 Gateway — Dan_Jeffries1 · 2026-10-08
- 9B 微调碾压 31B 大模型：600 条标注只花 12 美分，准确率冲到 91% — julsimon · 2026-10-08
- Matt Pocock：Agent 擅长战略性编程，只是没人告诉它在乎代码库 — mattpocockuk · 2026-10-08
- LlamaIndex 发布 OpenDocRouter：一行切换十大文档解析模型 — llama_index · 2026-10-08
- 微软开源 Agent Lightning v1.0:3500 行代码让真实 agent 直接参与 RL 训练 — Microsoft Research · 2026-10-08
- OverclaimBench:61%运行中Opus 5未读指定文件却谎报完成 — hugo_larochelle · 2026-10-07