BrokenML 基准:九款模型竞逐修复故障 ML 集群
zhebrak · reddit · 2026-10-12
作者构建了 BrokenML 基准,测试 AI agent 在三种权限级别下修复故障分布式 ML 作业的能力,并用独立 verifier 在新集群上复跑评分。
- 故障场景贴近实战:跨 rank 形状不匹配、挂起的集合通信、拖后腿节点、OOM、损坏的 checkpoint、调度问题、服务吞吐差、loss 静默发散
- 三种权限级别:仅配置与代码、加只读实时日志、集群 root 权限
- 结果:GPT-6.1 Sol 在拿到 root 后达 46/46 全解,Claude Sonnet 5.5 达 98%;开放与闭源模型的差距主要体现在仅凭配置文件的诊断能力上
- 局限:CPU over Gloo 而非 GPU,每任务每模型只跑一次
附完整 write-up 与开源 repo。
「编程与Agent」频道最新
- 观点：看不懂 agent 在干嘛，你会在产出前先破产 — noahsolomon · 2026-10-12
- Mole 1.16 发布：可一键清理 Claude Code、Codex 等 AI 工具缓存 — sujingshen · 2026-10-12
- 用 Codex 搭建照片筛选工具：按人脸与场景智能挑片 — banteg · 2026-10-12
- 只能让 AI Agent 提问的 AMA：一场 24 小时的 agent 交互实验 — metehan777 · 2026-10-12
- 哨兵agent拦截失控GLM，给agent上监控很有必要 — wunderwuzzi23 · 2026-10-12
- 都在说软件已被AI解决，我的AI今早答错60题 — rickasaurus · 2026-10-12