RExBench:编码智能体自主做研究扩展,最佳成功率仅 33%
najoungkim · x · 2026-10-16
ACL 2026 论文 RExBench（Najoung Kim 等）提出检验 coding agent 能否自主实现「研究扩展」的基准：
- 任务设计：12 篇真实研究论文的扩展任务，每项基于已有论文与代码库，附领域专家撰写的指令；可自动执行 agent 输出判定成功标准，且对数据污染稳健。
- 评测结果：用 aider 与 OpenHands 两个框架实现 12 个 LLM agent 测试。所有 agent 都无法自主完成大多数扩展，最佳 agent 成功率约 33%。
- 加提示后：补充人类手写 hint 能提升成功率，但最佳仍低于 44%。
- 结论：当前 agent 距离无需大量人类指导即可完成现实研究扩展任务还很远。
所属事件:RExBench 基准显示最强编码 Agent 自主研究扩展成功率仅 33%(3 条相关)→
「编程与Agent」频道最新
- 将 JS 代码编译成神经网络：Chenglou 开源 Handwired 玩具项目 — ctjlewis · 2026-10-16
- Temporal Serverless Workers 登陆 Cloud Run:按任务队列自动伸缩、可缩至零 — rseroter · 2026-10-16
- Meta 超智能实验室 200+ 直接汇报,扁平组织移植到 AI Agent 设计 — peterjliu · 2026-10-16
- LangChain CEO:最有趣的 agent harness 工作在 harness 与基建交界处 — hwchase17 · 2026-10-16
- 多智能体论文 GitSwarm：用 Git 仓库做持久记忆，一次跑通 IMOProofBench 全部 30 题 — anirudhg9119 · 2026-10-16
- 实测 Gemini 4 Argon：速度远超 Opus 5.5，但幻觉多且贵 — prasenx · 2026-10-16