开源 warmctl:8×H100 上 37 秒恢复预热 vLLM 引擎

kbesplv · reddit · 2026-10-13

开发者发布开源工具 warmctl,可对完全预热好的 vLLM 引擎做快照,并在另一台主机上秒级恢复,支持多 GPU,让「scale to zero、按需秒级拉起」真正可行。与 Modal、Inferize、RunPod FlashBoot 等托管方案不同,它跑在你自己的 GPU 上。实现要点:vLLM sleep mode 卸载权重、CRIU 给进程做 checkpoint、CUDA checkpoint API 保存 GPU 状态、cuInterpose 处理多 GPU、快照以 OCI 镜像分发。作者以 GLM-5.3-Flash 在 8×H100 上 37 秒恢复作为演示,征集反馈。