AWS 实测 NVRx 容错训练:同步 checkpoint 曾耗掉 40% 墙钟时间
AWS ML Blog · rss · 2026-09-17
AWS ML Blog 发布在 Amazon EKS 上用 NVIDIA Resiliency Extension (NVRx) 做大规模容错分布式训练的完整方案。
问题:大训练跑数天跨多节点,故障不可避免;单个 GPU 故障会让 NCCL 超时级联拖垮健康 worker;同步 checkpoint 阻塞所有 rank 的 I/O,在该集群规模下曾消耗高达 40% 的总墙钟时间。
NVRx 三层独立容错能力(pip 安装即可,不改模型和训练代码):
- 异步 checkpoint:TorchAsyncCheckpoint 把 state dict 交给后台进程,每个 rank 直接写自己的分片,消除 rank-0 瓶颈
- 进程内重启(inprocess.Wrapper):软故障(NCCL 挂起、未捕获异常)不杀进程,abort 进程组、逐 rank 健康检查、幸存者重新 rendezvous 后从最近 checkpoint 续训
- ftlauncher 进程内作业重启:处理 SIGKILL、OOM 等硬故障,靠心跳超时检测,杀死幸存者并原作业内拉起新 worker
基础设施:p5.48xlarge(8×H100)自管节点组、EFA 3200 Gbps 网络、FSx for Lustre 共享存储与 GPU 节点同可用区以降低恢复时的 checkpoint 读取延迟。附 2-8 节点 H100 基准测试与可复现代码。
「Infra」频道最新
- 欲撼动 Postgres 须先复制其集成生态，而非只拼性能 — mgill25 · 2026-11-02
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02