SREGym 基准发布：GPT-5.6 领跑真实 SRE 故障修复测试
tianyin_xu · x · 2026-09-09
UIUC 团队发布 SREGym，一个评测 AI agent 解决真实生产环境 SRE 问题的基准，涵盖亚稳态故障、配置错误等场景，提供真实活系统环境，并将在 10 月 8 日旧金山 Frontier Data Summit 上展示（同场还有 OSWorld 2.0、Terminal Bench、T² Scaling Laws 等多个基准团队）。
榜单前五名（21 个精选故障集）：
- Codex + GPT-5.6 Sol (max)：诊断 95.2%、缓解 85.7%、端到端 81.0%，平均单次 1.42M tokens
- Claude Code + Claude Opus 5：诊断 92.1%、缓解 82.5%、E2E 76.2%
- Codex + GPT-5.6 Terra (max)：E2E 69.8%
- Codex + GPT-5.6 Luna (max)：E2E 68.3%，但 token 消耗高达 2.74M
评测指标包括诊断成功率、缓解成功率、端到端正确率及诊断/缓解耗时。项目已开源，接受社区提交。
所属事件:UIUC 发布 SREGym 基准，GPT-5.6 领跑(2 条相关)→
「编程与Agent」频道最新
- Runway 发布 App Studio：描述即生成图片视频音频创意应用，无需代码 — runwayml · 2026-10-27
- 用 $28 算力让模型给自己造 copilot：他的新模型个人基准 — bucolucas · 2026-10-27
- 创始人和 Claude 4 天产 46 条 App 视频，省下 1.15 万美元 — PrajwalTomar_ · 2026-10-27
- Agent 中途改计划该被允许吗：真实系统介入时的边界之辩 — wistfulcracker84 · 2026-10-27
- HeyGen 联手 Canva:幻灯片讲者备注自动变数字人讲解视频 — HeyGen · 2026-10-27
- 隐私场景实测：本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27