AWS 为 SageMaker HyperPod Slurm 集群推出托管扩展,可观测与用户管理 API 化
AWS ML Blog · rss · 2026-11-21
AWS 宣布为 Amazon SageMaker HyperPod 的 Slurm 集群推出 cluster extensions,把运行中节点上的软件管理也纳入声明式 API 体系,首批提供可观测性与用户管理两个托管扩展。
背景:六层配置的声明式演进
HyperPod 已在 2026 年把集群定义、节点设置、容量、网络拓扑、硬件健康这五层配置做成声明式:API 驱动的 Slurm 配置、基于 AMI 的节点软件、持续供给重试、自动拓扑管理与深度健康检查(GPU 压力测试 + NCCL 连通性测试)。但第六层——节点上持续变化的软件(exporter、监控组件等)此前只能靠 lifecycle 脚本,脚本只在节点供给时执行,每次改动要重跑或换节点,且无状态汇报,导致节点随时间漂移。
cluster extensions 的机制
- 提交时按 schema 校验设置,错配置在到达节点前被拒绝
- 自动应用到所有节点,包括扩容/替换的新节点,保持一致
- 通过 API 或控制台即可改设置、升级版本,无需改脚本换节点
- 每个扩展汇报状态与逐节点健康
首批两个扩展
- sagemaker-observability:采集节点、GPU、EFA、Slurm 作业与集群指标,发送到 CloudWatch 或 Amazon Managed Service for Prometheus,附 Grafana 开放面板
- sagemaker-user-management:在所有节点上以相同 ID 创建用户和组、控制各节点类型的 SSH/sudo 权限、注册 Slurm 计费,并可对接 Active Directory
共六个扩展 API(安装、配置、升级版本列举等),CLI/SDK 可脚本化管理并纳入版本控制。组织特定软件仍建议走自定义 AMI 与 lifecycle 脚本;保留对节点(含 controller)的完整 SSH 访问,维护与控制力的平衡由用户自己掌握。
「Infra」频道最新
- Inkling 2 Mini 能效实测:82.3% 准确率仅耗 1.17 kJ,单位能耗智能最佳 — simonguozirui · 2026-11-21
- 算力过剩论者改口:效率每年 4 倍提升,10 年后 10 亿美元算力工作降至千元 — teortaxesTex · 2026-11-21
- 华为算力平台论文渐多,Jack Clark 提及 AscendGym 值得关注 — willknight · 2026-11-21
- AWS 推出分布式 KV 缓存技能:自托管 LLM 成本降 40%、首 token 延迟降 80% — AWS ML Blog · 2026-11-21
- 博主:数据中心年化回报 80-100%,是地球上最值钱资产 — sudoraohacker · 2026-11-21
- 清华×字节 SMELT 论文:MoE 中层循环两次省 6.8–18% 训练 FLOPs — teortaxesTex · 2026-11-21