NVIDIA Dynamo Snapshot 将 LLM 扩容冷启动时间降低约 10 倍
Nasereliver · x · 2026-10-01
SysConf 2026 公布的议题介绍:Rasheedat Atinuke Jamiu 将分享用 NVIDIA Dynamo Snapshot 解决 LLM 服务冷启动问题的实验结果。
LLM 推理扩容慢的根源在于新 GPU worker 需要初始化运行时、加载模型权重、准备 kernel 并分配内存。Dynamo Snapshot 的做法是对已初始化的 worker 做快照检查点,新 worker 直接从快照恢复:宿主机状态用 CRIU 保存,GPU 状态用 cuda-checkpoint 保存。
作者基于自己跑的实验给出数据:启动时间下降约 10 倍。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16