2026-10-02
ACL 2026 提出 RExBench:12 个真实研究扩展任务,最好的 OpenHands + Claude 4 Sonnet 成功率 33%,给到人类分步提示也只到 43%。
LLM agent 写代码已经不稀奇,但科研流程里最贴近「动手」的环节,读一篇论文、进它的代码库、实现一个新的研究假设并跑出数字,一直没有干净的测法。现有基准各有缺口:PaperBench 测复现,MLE-bench 是 Kaggle 式竞赛;更共同的坑是数据污染,解法在网上,骨干模型可能背过。
RExBench 补的就是这个位置:测「研究扩展」,任务不是复现已知结果,是在已有论文与代码库上实现没人公开做过的假设。
12 个任务,每个三件套:近年论文(PDF 与 Markdown 双格式)、原始代码库、领域专家写的扩展指令。改动覆盖四类:换模型(如 OLMo-7B、Llama-3.1-8B)、换数据、改算法、改评测。举个例:WinoDict 原文测模型能否从上下文词典学会合成新词,扩展任务是改用不同词频的真实英文词,检验给旧词赋新义是否更难。
构建流程下了重本:博士级以上专家先验证原代码库可复现原文结果,再实现 gold 扩展并记录数值,由另一位作者交叉验证;gold 运行时长控制在单张 A100 12 小时内。评分只认数字:确定性任务要求精确匹配,有随机性的任务以不同种子跑 5 次 gold,结果落在均值 ±2 个标准差内算成功;实测该判据没有出现假阳性和假阴性。
防污染是设计重心:gold 全部放私有 Bitbucket 仓库(不用 GitHub,因为难保私有库没进过训练集),评测在自建 OpenStack 集群的 Apptainer 容器里执行,无外网、固定随机种子、硬件与 gold 完全一致;提交物是 git patch 加 agent 日志,后者用于核验确实是自主完成。主实验 12 个 agent:aider 与 OpenHands 两框架 × 六种骨干(Claude 4 Sonnet、Claude 3.7 Sonnet、GPT-5、o1、o4-mini、DeepSeek-R1),每任务跑 5 次。一个影响解读的设计选择:为控制运行时,agent 全程禁用 Python 执行,写码不能自测。
| agent | 最终成功率 |
| OpenHands + Claude 4 Sonnet(无提示) | 33% |
| OpenHands + GPT-5(无提示) | 27% |
| OpenHands + Claude 4 Sonnet / GPT-5(给到分步提示) | 43% |
| OpenHands + Claude 4.5 Opus(投稿后追加) | 42% |
| aider + Claude 4 Sonnet | 13% |
| DeepSeek-R1(两种框架) | 0% |
分层指标把瓶颈钉住了。执行成功率(代码能跑)最高 68%,file recall(agent 改动文件与 gold 的重合度)普遍很高:文件定位与语法不是问题,挂在实现逻辑上。隐式错误(代码能跑但数字不对)随模型变强反而增多,OpenHands 骨干从 Claude 3.7 换到 Claude 4,隐式错误从 6 起涨到 24 起,逻辑错与取值错约 2:1。人工评估多数隐式错误属「小改可修」(16 easy、4 medium、4 hard),常见诱因是过度编辑:指令没让动的地方也加异常处理、改无关开关,造成静默偏差。弱模型(DeepSeek-R1、o1、o4-mini)的突出毛病是想太多,token 与时间烧在推理上不出代码,aider + DeepSeek-R1 约三分之一的失败源于此。
提示实验像一次诊断。两级提示:第一级只给定位信息(「改 src/testfile.py 里的 testfunction()」),第二级把 gold 方案拆成分步指导。最好成绩从 33% 抬到 43%,没过半;原本归零的 agent 给提示也救不动。Othello 任务上 Claude 3.7 无提示 100%,拿到分步提示反而 0%,因为它实现不来提示指定的辅助函数,自己另写倒写得对。混合效应回归里,唯一显著的难度因子是 gold 改动行数(β=-0.038,p<0.01),代码库规模、仓库热度、论文引用量都不显著。成本侧:OpenHands + Claude 4 Sonnet 单任务最多烧 185 万 prompt token,几乎是非迭代 aider 的 592 倍。
对「AI 自动科研」的叙事,这是一次硬校准。这些扩展对博士级专家不算大工程(多数无需大改代码库),最强组合自主完成三分之一,给到人类分步指导仍不到 44%,更新的 Claude 4.5 Opus 也停在 42%。相关宣传可以照这个数字打折。
更扎手的是隐式错误随能力上升的趋势:强模型产出的代码能跑、看着对,连写出 gold 的专家都难定位错在哪。论文把风险说得很直白:缺乏严格验证就依赖这类系统,错误实现会混进文献,侵蚀对发表结果的信任。对 agent 开发者,瓶颈图谱也实用:定位与语法基本解决,剩余难度在实现逻辑与守住指令边界。基准与排行榜开放提交(rexbench.com)。