AWS HyperPod 新功能:把训练 goodput 从故障里抢回来
AWS ML Blog · rss · 2026-11-19
AWS 为 SageMaker HyperPod 推出三项新能力,解决「每个节点看着健康、训练却悄悄坏掉」的问题,提升训练集群的有效算力占比(goodput)。
为什么要做:现有健康检查只看单节点硬件,防不住三类故障——数值故障(GPU 通过硬件测试却算出错误结果,Meta 在 Llama 3 405B 54 天预训练的 419 次意外中断中有 6 次归因于静默数据损坏)、挂死任务(NCCL 超时或死锁后任务占着 GPU 却无进展,Slurm 仍显示运行中)、集群层故障(K8s device plugin 崩溃等,报错根本不提问题组件)。
三项新能力:
- MultiNodeTrainingValidation 深度健康检查:在实例 provision 时跑一个小型 Megatron-LM 训练(先单实例后跨实例),loss 变 NaN/无穷或超时即判失败,配合自动节点恢复直接换机;
- HyperPod K8s 资源监控代理:持续监控 EKS 集群,捕获 crash-loop 的 device plugin、缺失 DaemonSet、节点污点等,任务失败时报告涉及的 pod 和节点;
- 挂死任务检测(Slurm 集群新功能):节点上的代理监视任务输出与 GPU 活动(或自定义日志模式),发现停滞即写 CloudWatch 事件并取消任务让 Slurm 重新排队。
经济账:32 台 p5.48xlarge(256 张 H100)的预训练任务若凌晨 1 点挂死、9 点才被发现,按约 $66/实例小时计价浪费约 $16,900;用 15 分钟挂死检测规则只需约 $530,省下约 $16,400。
「Infra」频道最新
- 奔驰北美车机跑 Liquid 本地模型,Shopify 要求查询改写 20ms 端到端 — agihouse_org · 2026-11-19
- Liquid AI 预研:固定内存预算下的设备端持续学习 — agihouse_org · 2026-11-19
- Liquid AI 主题演讲要点:让 AI 能力走进身边的每台设备 — agihouse_org · 2026-11-19
- OpenAI 前 10% 研究员日均烧掉 2.5 万美元 token,评论区:没人付原价 — ivan_bezdomny · 2026-11-19
- Fchollet:经济中潜藏的 token 需求近乎无限,唯一刹车是成本 — fchollet · 2026-11-19
- 2x3090 本地跑 Hy4-Flash:Q3 量化下 PP 63、TG 22 tokens/s — EmilPi · 2026-11-19