EvalResearchBench: Can AI Agents Build Their Own Feedback for Recursive Self-Improvement?
Yaolun Zhang, Tianyi Xu, Yujie Zhao, Jishen Zhao, Qingyun Wu, Huazheng Wang
cs.AI
2026-10-03
新基准让 9 个前沿 agent 在 3 小时、200 美元内自建评测器,最好的也只复现约 75% 的模型排序,人工随机抽样仍是强基线。
递归自我改进(RSI,让 AI 系统靠反馈反复修改自身的循环)每走一步都要靠评测回答「这次改动是否变好」。完整跑一遍复杂 benchmark 又贵又慢,agent 类评测还要长工具轨迹和专门环境,新版本一出就得重测,迭代速度被评测拖住。人类专家的解法是挑子集、造便宜代理,tinyBenchmarks 是代表。但已有自动化改进工作里,评测协议全是人给的:PostTrainBench 固定 target benchmark,RSIBench-Data 依赖固定评测服务,AlphaEvolve 靠用户提供的评测函数。换个领域,人还得先设计一套评测。ERB(EvalResearchBench)把这步单独拎出来测:agent 能不能自己把评测造出来。
设置像一场限时 hackathon。作为 researcher 的 agent(模型装进 Codex 或 Claude Code 外壳)拿到 target benchmark 描述、4 个可见候选模型的参考分数、许可的题目与评分资源、执行轨迹,以及按量计费的候选模型 API。预算硬卡:3 小时,研究推理 100 美元、试点测试 100 美元分两个账本,防止 agent 把钱花在「想」上;冻结后的评估另算,总额 120 美元、单候选 30 美元上限。
9 个 researcher(GPT-6 Astra、Grok 4.7、Fable 5.1、Opus 5、Kimi K3、GPT-5.6 Sol、GLM-5.3、DeepSeek V4 Pro、Fable 5)各跑一局,对照 14 个 target。主表上 Astra 拿 overall Score 第一,Grok 4.7 拿 PA 第一(74.87%);域内冠军也分散,Grok 领 coding、Astra 领 co-work、Opus 5 领 reasoning,coding 是多数评测器最弱的域。
同面板(12 候选)下的关键数字:
| 指标 | 最好结果 | 参照 |
| Overall PA | Grok 4.7:76.07% | Random120:68.29%;排序上限 91.20% |
| Overall Score | Grok 4.7:22.18 | Random120:13.10;Astra:21.35 |
| coding Score | Grok 4.7:22.94 | Random120:22.92,基本打平 |
| 冻结后执行成本 | Grok 4.7:8.63 美元 | Fable 5.1:109.41 美元 |
PA 的 91.20% 上限不是模型能力问题,是 14 个 target 彼此只同意这么多排序,任何单一评测都越不过去。8 个 agent 评测器里 7 个 Score 胜过 Random120,PA 只有 4 个;Fable 5.1 在可见 target 上 Score 第一,换保密 target 冠军变成 Grok,拟合可见参考分不等于造出了通用评测。两个细节更扎眼。其一,Grok 的 co-work 20 题里 6 题占掉 93.87% 权重,把权重强行换均权、原回答复用,overall Score 从 22.18 升到 37.03,题目里的信号被自己选的权重浪费了。其二,Astra 的 8 道表格题删掉后 co-work Score 掉 31.94 分,而该组件 96 条回答里 46 条撞输出上限、没给出最终答案。题目数量直接决定稳定性:Astra 套件从 10 题加到 90 题,Score 的抽样标准差从 6.64 降到 2.14。Fable 5 评估预算烧穿,39 个「候选×域」只跑完 20 个,直接出局。刷分也不容易:全程给 0.5 的哑评测器 Score 为 0、PA 恰好 50%。
它把「评测设计」从工程师手艺变成一项可测量的 agent 能力,并给出冷静的刻度:最强的一批模型,拿着可见参考分、能反复试错,也只复现四分之三的模型排序;花 109 美元造的评测没赢,花 8.63 美元的反而拿下最高 PA。对搭内部评测的团队,两条便宜经验直接可用:题目往多了放,别让权重集中到几道题。对做 RSI 的人,这是绕不开的前置关卡:反馈仪器造不好,自改进循环无从谈起。
作者自述的失败模式:冻结评测器仍会截断回答、烧穿评估预算、让少数题主导整个域的分数。coding 的 target 本身互不相容,ProgramBench 与 SWE-bench Multilingual 在共同候选上的参考分均值一个 0.008、一个 0.876,oracle RMSE 下限就有 0.303,这个域的分数复现天然困难。另有几点存疑:每个模型只跑一个 episode,名次对随机性多敏感没有交代;面板从 13 个候选换成 12 个,Score 冠军就从 Astra 变成 Grok;三域分类与 14 个 target 的挑选本身是人的判断,换一批结论可能移动。复现还要真金白银的 API 费。