谷歌 Pro² Agent 登顶 MLE-Bench:奖牌率 76% 创最高纪录
dair_ai · x · 2026-11-21
Google 与 Johns Hopkins 研究者发布 Pro² Agent,在完整 MLE-Bench 上取得 76.0% 奖牌率,为该基准已报告的最高成绩。
核心问题:自主研究 agent 通常只顾反复改代码直到指标变动,遇到难任务容易卡在错误的解空间区域,因为它们从不写下『哪里出了问题』。
方法要点:
- 用 Problem State 取代代码库状态:一个结构化列表,显式记录阻碍成功的候选问题及对应的候选修复方案;
- agent 运行受控测试,动态更新每个问题的重要性与每个修复的收益;
- 每个任务还产出可供人类审阅和复用的研究笔记。
成绩:标准 24 小时预算下达到 70.7%(追平最佳纪录),48 小时预算下达到 76.0%。
「编程与Agent」频道最新
- PlaceBench 实测 6 款语音助手:150 问里 Ask Maps 答错 30 个垫底 — whowasntright · 2026-11-21
- Cloud Run 跳过构建直推本地文件,应用+数据库 12 秒上线 — rseroter · 2026-11-21
- Claude Code 2.1.330 发布:142 项改动,危险操作需确认 — ClaudeCodeLog · 2026-11-21
- Claude 用 Blender 造 2538 资产迈阿密小镇,74 分钟 Unreal 渲染完成 — piotrbinkowski · 2026-11-21
- Gemini 订阅跑 Antigravity 有封号风险?ToS 限制引开发者担忧 — jeremyphoward · 2026-11-21
- Alchemy 推出 Decision 原语:原子命令跨聚合,替代 Saga 模式 — samgoodwin89 · 2026-11-21