Meta Llama3 训练 419 次中断中 6 次源于静默数据损坏,AWS 给出三重检测法
AWS ML Blog · rss · 2026-11-12
AWS ML Blog 详解静默数据损坏(SDC)的检测与恢复:GPU 返回错误但「看起来合理」的数值且不报错,错误值会流入所有副本的梯度与权重,损失曲线可能数小时都正常。Meta 在 Llama 3 405B 预训练(16K H100、54 天)的 419 次意外中断中有 6 次归因于 SDC——且这只是被抓到的。
为什么常规检查全部失灵:ECC 只护内存、tensor-core 计算路径无 ECC;Xid 错误需要 GPU 自己上报而 SDC 天生静默;DCGM 深度检查跑在空闲节点;传输校验和与 checkpoint 校验和都验证不了计算正确性。唯一办法是检查计算结果本身。
训练循环内加三道检查(唯一能真正发现静默 SDC 的层)
- 非有限梯度检查:当场捕获 NaN/Inf/溢出,含 all-reduce 引入的;
- 环形重放审计:每个 GPU 重算另一节点的 micro-batch,loss 逐位比对、梯度按指纹比对,能抓有限值错误;
- 权重指纹比对:更新后比较各副本权重,抓 optimizer step 和存储权重损坏。
定位与恢复: suspect rank 经 Kubernetes 节点名映射到实例,corDOn 节点、对照 HyperPod DCGM 指标、按需深度健康检查确认后换节点,从可疑窗口前的 checkpoint 恢复。还有「惯犯节点」历史查询供提前排查。
在 4 台 ml.p5.48xlarge(32 张 H100)上用软件注入故障验证,全部代码开源。
「Infra」频道最新
- celld 演示：只用对象存储桶自托管 Workers、Durable Objects 和队列 — irvinebroque · 2026-11-12
- Azar 自省：芯片扩散战略过于透明，中国模型正转向华为 — beffjezos · 2026-11-12
- 24GB 内存老工作站也能跑 Agent：Pi Agent + Bonsai 2 9B 实测 — Potential_Block4598 · 2026-11-12
- DigitalOcean 实测:+4% 推理提速只是运行噪声 — AI Engineer · 2026-11-12
- 网友自组 AMD CPU + 华为昇腾 950PR 混合推理主机 — AIFlow_ML · 2026-11-12
- 黄仁勋去职不是大事，AI四层单点故障才是真隐患 — krishnan · 2026-11-12