Meta Prometheus 集群每 5 小时坏一个节点，拓扑感知调度可多榨 27% GPU
skypilot_org · x · 2026-10-30
SkyPilot 发文分析 NVL72（Grace Blackwell）集群的调度痛点：在 Meta Prometheus 集群的 2304 个节点中，平均每 5 小时就有 1 个节点宕机，每个机架约 27 天故障一次。
核心问题与结论：
- NVL72 把 72 块 GPU 放在同一机架的统一 NVLink fabric 上，只有机架内任务能享受带宽红利；跨机架的任务回退到 InfiniBand，同一分布式训练任务性能下降可达 43%。
- 随着硬件故障节点下线、任务陆续结束，空闲容量被打散到不同机架，保持 rack-locality 越来越难。
- SkyPilot 提出拓扑感知放置（保证多节点任务留在同一 NVLink 域）、原地故障恢复（不迁移任务）、以及自动碎片整理，可在同样机架上多出约 27% 可用 GPU。
结论：Grace Blackwell 时代需要新一代考虑 NVLink 拓扑的调度器。
「Infra」频道最新
- 4090 24GB 跑原生 3K MiniMax 视频:一个 ComfyUI 节点解决显存崩溃 — friedlc · 2026-10-30
- Baseten 携手 Postman：4000 万开发者的企业 Agent 基建组合 — baseten · 2026-10-30
- AI 泡沫信号:数据中心 AI 债务融资开始变难 — Terminator857 · 2026-10-30
- Ollama:全球企业团队正用其将工作流迁移至开源模型 — ollama · 2026-10-30
- Rogers 卫星漫游扩至日澳新，加拿大手机借 Starlink 通全球 — XFreeze · 2026-10-30
- AWS 布道师发现 macOS 更新回滚:已移除的 eMudhra 证书又回到系统信任库 — kingslyj · 2026-10-30