RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33%
najoungkim · x · 2026-10-16
ACL 2026 论文 RExBench(作者含 Sebastian Schuster、Najoung Kim 等)提出新基准,检验编码 Agent 能否自主实现 AI 研究扩展——即基于已有论文和代码库验证新的研究假设。
基准设计与发现:
- 包含 12 篇真实研究论文的扩展任务,每个任务基于现有论文与代码库,配有领域专家撰写的说明
- 对数据污染鲁棒,支持自动评估基础设施,直接执行 Agent 输出判断是否达到成功标准
- 用 aider 和 OpenHands 两个框架实现 12 个 LLM Agent 进行评测:所有 Agent 都无法自主完成大多数扩展,最好的 Agent 成功率约 33%
- 加入人类编写的提示后成绩提升,但最好表现仍低于 44%
结论:当前 Agent 距离在没有大量人类指导下完成现实研究扩展任务仍有明显差距。
所属事件:RExBench 基准发布:编码 Agent 自主研究扩展成功率仅 33%(2 条相关)→
「编程与Agent」频道最新
- 一人公司案例：Ferryman 靠「一处发帖、全网同步」月费 30-100 美元 — KevinNaughtonJr · 2026-10-16
- Gemini 官网宣称一键打开 Antigravity,用户实测却处处碰壁 — dreamwieber · 2026-10-16
- 阿里 Qoder 采纳开放标准 UHP，可作产品 Agent 后端 — nevrekaraishwa2 · 2026-10-16
- Vercel Drives 正式发布:给 Agent 配上跨环境持久化存储 — evilrabbit_ · 2026-10-16
- Vercel Ship SF 2026 议程公布:Anthropic、Cursor、Meta 都要登台 — evilrabbit_ · 2026-10-16
- Veracode 报告：AI 写了近半代码，但安全通过率仅 56% — WeldPond · 2026-10-16