NVIDIA Dynamo Snapshot 将 LLM 扩容冷启动时间降低约 10 倍
Nasereliver · x · 2026-10-01
SysConf 2026 公布的议题介绍：Rasheedat Atinuke Jamiu 将分享用 NVIDIA Dynamo Snapshot 解决 LLM 服务冷启动问题的实验结果。
LLM 推理扩容慢的根源在于新 GPU worker 需要初始化运行时、加载模型权重、准备 kernel 并分配内存。Dynamo Snapshot 的做法是对已初始化的 worker 做快照检查点，新 worker 直接从快照恢复：宿主机状态用 CRIU 保存，GPU 状态用 cuda-checkpoint 保存。
作者基于自己跑的实验给出数据：启动时间下降约 10 倍。
「Infra」频道最新
- 华为 Mate 90 发布：麒麟 9050 Pro 首用 LogicFolding 架构 — ingliguori · 2026-10-01
- A20 标准版疑不用 WMCM 封装，爆料的回应只有三个字：产能不够 — zephyr_z9 · 2026-10-01
- TRL 月训练量破 100 万次，团队瞄准每周百万 — QGallouedec · 2026-10-01
- oMLX 0.7.0 发布：长上下文解码提速 50%,重写内存守护 — pcuenq · 2026-10-01
- SlideDP：4 张 RTX 4090 微调 Qwen2.5-72B，吞吐超 FSDP2 11.2% — Ruijia Yang · 2026-10-01
- 中国单月用电量创历史新高，但工业电力需求增速放缓 — teortaxesTex · 2026-10-01