HyperPod 模型缓存上线：大模型冷启动从 30 分钟降到秒级
AWS ML Blog · rss · 2026-09-11
Amazon SageMaker HyperPod 推出模型缓存：把模型权重和推理容器镜像预载到节点的本地 NVMe（约 7GB/s），pod 启动即可秒级服务，而不是等 30 分钟以上的网络下载。冷启动原本由两段串行下载主导：多 GB 的推理镜像（5–7 分钟）+ 权重（145GB 模型 20+ 分钟，DeepSeek-R1 600+GB 要 30 分钟以上），每次扩容都要重演。
功能拆成两个可独立开启的缓存：
- 权重缓存：operator 提前把权重从 S3/FSx/HF Hub 下到各节点 NVMe，节点标为 cache-ready 后才建部署，pod 重启后缓存仍在；
- 镜像缓存：DaemonSet 预拉镜像，省掉 ECR 下载，多个部署共享同一缓存。
调度采用 preferred 而非 required：pod 优先落有缓存的节点，落在无缓存节点则回退到正常下载，不会失败。通过 modelCacheConfig（weightsCache/imageCache）即可启用，模型源更新时自动滚动新缓存、清理旧缓存，实现零停机。
「Infra」频道最新
- Tenstorrent 融资 15 亿美元，估值 62 亿较去年翻倍以上 — Beth_Kindig · 2026-10-27
- Anthropic 拟向 SpaceX 采购 1205 亿美元算力,满载后月付约 31 亿 — XFreeze · 2026-10-27
- 恶搞：用 JEV 决策模型替换 Raft 共识，写入吞吐暴跌 99.98% — irombie · 2026-10-27
- Cadence 进入领域专用 AI 模型赛道,芯片设计自动化再加码 — karlfreund · 2026-10-27
- Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储 — qdrant_engine · 2026-10-27
- Nebius 获 Citi 35 亿美元融资额度用于 GPU 采购与数据中心 — Beth_Kindig · 2026-10-26