AWS HyperPod 新功能:把训练 goodput 从故障里抢回来

AWS ML Blog · rss · 2026-11-19

AWS 为 SageMaker HyperPod 推出三项新能力,解决「每个节点看着健康、训练却悄悄坏掉」的问题,提升训练集群的有效算力占比(goodput)。

为什么要做:现有健康检查只看单节点硬件,防不住三类故障——数值故障(GPU 通过硬件测试却算出错误结果,Meta 在 Llama 3 405B 54 天预训练的 419 次意外中断中有 6 次归因于静默数据损坏)、挂死任务(NCCL 超时或死锁后任务占着 GPU 却无进展,Slurm 仍显示运行中)、集群层故障(K8s device plugin 崩溃等,报错根本不提问题组件)。

三项新能力:

经济账:32 台 p5.48xlarge(256 张 H100)的预训练任务若凌晨 1 点挂死、9 点才被发现,按约 $66/实例小时计价浪费约 $16,900;用 15 分钟挂死检测规则只需约 $530,省下约 $16,400。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →