warmctl 用 DMTCP 快照让 vLLM 冷启动缩至 14 秒,CRIU 在 RunPod 失效
kbesplv · reddit · 2026-11-01
warmctl 新增轻量后端,解决 RunPod 上 vLLM 冷启动慢的问题:将预热好的 vLLM 进程做快照存到网络卷,新 Pod 秒级恢复而非等数分钟。实测 Qwen3-32B 在 2×L40S 上 14 秒即可对外服务。技术文章还解释了为什么 CRIU 在 RunPod 环境下无法工作,改用 DMTCP 做进程快照与恢复(TP=2)。对在云 GPU 平台自托管 LLM 的开发者是实用方案。
「Infra」频道最新
- llama.cpp 过时了？本地推理引擎碎片化混战引发热议 — fintip · 2026-11-01
- Arohan 预告演讲：十年大规模训练系统经验的 Interstellar 式开场 — _arohan_ · 2026-11-01
- 极客梗图：为完全无文档架构手写 LLVM 后端，替代闭源 nvcc — mike64_t · 2026-11-01
- 企业领域蒸馏成风：成本从美元降到几美分且精度不损 — himanshustwts · 2026-11-01
- 预测2027年本地小模型将成最大故事，冲击云端推理生意 — ZeYanjie · 2026-11-01
- Reddit 实测:AMD EPYC+多卡 3090 跑 Qwen Q8 达 94 tok/s,8 路并发近线性扩展 — sleight42 · 2026-11-01