UIUC 发布 SREGym：GPT-5.6 Sol 领跑，SRE Agent 端到端解决率仅 81%
tianyin_xu · x · 2026-09-11
伊利诺伊大学香槟分校（UIUC）团队在 Snorkel AI 的 Frontier Data Summit（10 月 8 日，旧金山）上介绍 SREGym——一个用真实生产环境考验 AI Agent 运维能力的 benchmark，涵盖亚稳态故障、错误配置等真实 SRE 问题，并提供可复现的活体系统环境，社区可通过 GitHub 提交评测。
其 SREGym-Lite 21 类故障子集上的榜单：
- 第 1 名：Codex + GPT-5.6 Sol (max)，诊断 95.2%、缓解 85.7%、端到端 81.0%，TTD 211s、TTM 397s，平均 1.42M tokens
- 第 2 名：Claude Code + Claude Opus 5，E2E 76.2%
- 第 3 名：Codex + GPT-5.6 Terra (max)，E2E 69.8%
- 第 4 名：Codex + GPT-5.6 Luna (max)，E2E 68.3%，但 token 消耗高达 2.74M
- 第 5 名：GPT-5.6 Sol (medium)，E2E 58.7%，token 用量仅 0.77M
结论性观察：最强 Agent 端到端（诊断+缓解都对）也只到 81%，且更快更准的组合 token 开销差异近一倍，说明真实生产故障对 Agent 仍是硬门槛。项目还提供 SREGym-Lite 结果页与数据集注册表，方便在标准第三方 benchmark 上评测自家 Agent。
所属事件:UIUC 发布 SREGym 基准，GPT-5.6 领跑(2 条相关)→
「编程与Agent」频道最新
- diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26
- 一条 Prompt 生成完整 Blender 动画,作者全程未手动建模 — iamfakhrealam · 2026-10-26