UIUC 发布 SREGym：GPT-5.6 Sol 领跑，SRE Agent 端到端解决率仅 81%
tianyin_xu · x · 2026-09-11
伊利诺伊大学香槟分校（UIUC）团队在 Snorkel AI 的 Frontier Data Summit（10 月 8 日，旧金山）上介绍 SREGym——一个用真实生产环境考验 AI Agent 运维能力的 benchmark，涵盖亚稳态故障、错误配置等真实 SRE 问题，并提供可复现的活体系统环境，社区可通过 GitHub 提交评测。
其 SREGym-Lite 21 类故障子集上的榜单：
- 第 1 名：Codex + GPT-5.6 Sol (max)，诊断 95.2%、缓解 85.7%、端到端 81.0%，TTD 211s、TTM 397s，平均 1.42M tokens
- 第 2 名：Claude Code + Claude Opus 5，E2E 76.2%
- 第 3 名：Codex + GPT-5.6 Terra (max)，E2E 69.8%
- 第 4 名：Codex + GPT-5.6 Luna (max)，E2E 68.3%，但 token 消耗高达 2.74M
- 第 5 名：GPT-5.6 Sol (medium)，E2E 58.7%，token 用量仅 0.77M
结论性观察：最强 Agent 端到端（诊断+缓解都对）也只到 81%，且更快更准的组合 token 开销差异近一倍，说明真实生产故障对 Agent 仍是硬门槛。项目还提供 SREGym-Lite 结果页与数据集注册表，方便在标准第三方 benchmark 上评测自家 Agent。
所属事件:UIUC 发布 SREGym 基准，GPT-5.6 领跑(2 条相关)→
「编程与Agent」频道最新
- Reddit 网友征集:带持久记忆的个人 AI 通讯助手怎么搭 — BrooksomidusGG · 2026-10-27
- Claude Code 用法心得：max 档做规划，xhigh 档做实现 — majidmanzarpour · 2026-10-27
- Chrome 团队详解 WebMCP：不是取代 MCP，而是让网站直接向 agent 提供工具 — rseroter · 2026-10-27
- Agent 绕过 UI 就能改已审批报销单?Agent-Native 框架要堵这个洞 — rseroter · 2026-10-27
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27