EvalResearchBench：AI 智能体能否自建评估器实现递归自我改进

AG2AI · hf · 2026-10-24

AG2AI 与俄勒冈州立大学、UCSD 等机构发布 EvalResearchBench（ERB），研究 AI 智能体能否自动化评估流程、为递归自我改进（RSI）提供反馈信号。

动机：RSI 依赖评估反馈来衡量进展，但反复跑复杂 benchmark 成本高、迭代慢，人工专家只能通过挑选 benchmark 子集来降本。
任务设定：给定目标材料、开发参考、候选 API 和固定的时间与 API 预算，一个「researcher」智能体需自行选择或合成任务、实现评分器、在试点测试后冻结出可执行的评估器，用于编程、co-work 和推理三类任务。
规模：研究涵盖 9 个 researcher 智能体与 13 个候选模型的组合，逐一对比各冻结评估器。
初步发现：智能体确实能自动化 benchmark 设计以降低评估成本，但生成的评估器与目标一致性仍有差距，且存在预算耗尽（budget exhaustion）和分数主导（score dominance）问题。

「漫话AGI」频道最新