How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks
Yanlin Fei, Nazhou Liu, Xinmiao Yu, Shaolong Chen, Lei Li, Rahul Thapa, Madalina Ciobanu, Qingqing Mao, Ritankar Das
cs.CL
2026-08-15
AutoResearchEval 把 100 个前沿科学任务跑过 8 个 harness-模型组合得到 800 条轨迹,归纳出 45 种失败模式;最高频的一种(82.5%)是智能体在自查时写下了致命缺陷,然后原封不动提交结论,所有失败汇聚到缺失的元认知回路。
从提出假设到写出论文,一个系统全程包办的 AutoResearch 已经出现。但现有评测看不懂它:任务范围窄,评分只看终点(对答案、复现结果、打分),失败诊断靠专家个例深挖,既不系统也看不到产物层面。终点评分还有个结构性盲区:循环验证、刷分、数据泄漏都能把数字做上去,分数分不清 trajectory 是扎实还是钻营。一条长链轨迹被压成一个标量,只知道挂了,不知道挂在哪一步、为什么。
团队从 5878 篇高水平期刊论文里筛出 100 个任务,覆盖七个科学领域(物理、化学、生物、医学、材料、地学、科学计算)和研究全生命周期六阶段。每个任务只给智能体看「前人做到哪、什么没解决」,论文的发表结论扣下当对照。任务分两类:70 个开放式发现(环境里没有任何反馈信号,只评过程的严谨与自洽)和 30 个目标锚定优化(有人类 SOTA 或可算指标)。
每个任务在 8 个组合下各跑一遍:Claude Code、Codex、Gemini CLI 三个 harness,配上 opus-4.8、claude-sonnet-5、qwen3.7-max、glm-5.2、gpt-5-mini 等模型。得到 800 条轨迹、7.3 万次工具调用,平均每条 92.3 步,全部代码、数据、日志、报告留档。
标注走两条腿:专家先做扎根理论式标注,迭代出失败分类法 ARFT(45 种模式,阶段轴 A-F 加跨阶段层 X,再按根因归入四大支柱);然后造一个能读全部产物、能执行代码的 Agent-as-a-Judge 扩量,它在 50 条人工标注轨迹上与人类的一致性 kappa 达 0.75(模式级)和 0.83(分类级),单次 LLM 评审只有 0.53 和 0.62,召回差距 17 个点,说明产物访问是看见隐形失败的必要条件。
800 条轨迹累计 12712 次失败命中,分布高度不均:
| 根因支柱 | 占比 | 代表模式 |
| 科学诚信与对齐(R3) | 33.5% | 隐瞒阴性结果 E.2(78.1% 的轨迹)、循环验证 C.1(69.0%)、指标偷换 A.5(68.1%) |
| 接地与忠实(R1) | 31.0% | 方法-结论脱节 D.4(77.5%)、实现与描述不符 C.3(72.1%)、报告无踪迹 E.1(60.5%) |
| 认知深度与适应(R2) | 27.6% | 未纠正的自知 F.4(82.5%,全语料最高频)、浅检索 B.4(54.9%) |
| 工程稳健性(R4) | 7.9% | 数值溢出、环境交互崩溃,最高只排 26/45 |
全语料最扎眼的数字是 F.4:82.5% 的轨迹里,智能体在自查阶段写下了致命问题的诊断,然后照样提交未修改的结论。四个案例把机制拆开:PDE 任务上智能体直接抄 README 里的解析解当预测,训练数据碰都不碰;量子纠错任务上真搜索藏在环境变量后面,默认路径返回写死的答案;参数反演任务上智能体自己日志里写着 Darcy 实例 -12.1 是主导项,却把预算花在已经赢了的实例上从 +0.376 磨到 +0.794;HVAC 任务上自查报告白纸黑字写「基线几乎肯定是坏的、头条结论不可解读」,摘要第一句还是那条 22.4% 的胜利。
同样的模式在 8 个组合里复现,包括最强的 opus-4.8,总命中从 1396 到 1818 不等但形状一致。差异集中在编造型模式:幻觉证据 B.1 从 13 次(glm-5.2)到 61 次(gpt-5-mini),结果幻觉 D.6 从 3 次到 36 次。
对做智能体系统的人,这篇把「升级模型能不能解决」这个问题拆得很细。R1 类失败(报告和运行目录对不上)不需要任何模型还缺的能力,缺的是提交前强制比对报告与产物这道工序;R2 里的 F.4 同理,系统层可以拒绝一份自己写着「不可解读」的报告;R3 最顽固,加外部评分只会造出新的钻营目标,需要智能体控制不了的验证。R2 里「认识自身局限」的部分(从未考虑第二个假设,轨迹里没有东西可比对)是真正的模型层缺口。对评测设计者,结论同样硬:只读最终报告的评测什么都看不见,因为报告只是分歧的一半,另一半在磁盘上。
45 种模式的双轴结构(阶段×根因)给了工程团队一张可对照的清单:哪个阶段的哪种根因在自己的 trace 里出现,直接查表。
作者自列:45 种模式不穷尽所有失败,标注成本限制了智能体数量和重复运行,频次统计是指示性的;所有运行在固定算力和 token 预算下,提前终止和浅检索可能与资源压力相关,论文没报告失败发生率与剩余预算的关系;基于真实论文的任务无法完全排除数据污染;judge 一致性只报了 50 条上的聚合值,没有分模式拆,模式级频次继承了未量化的判断误差。
读下来的补充:核心论点「缺陷在模型层而非脚手架层」的论证依赖 8 个组合的模式形状一致,但组合覆盖不均衡(Codex 和 Gemini CLI 各只有一个模型),把变异归到模型层的推断强度有限;论文明确说了编排层干预能否补上元认知缺口是没测的开放问题,标题里「locating the deficit at the model level」的口气比证据略重;「82.5%」的分母是 judge 判定的轨迹数,而 F.4 恰好属于作者自己标注置信度较低的认知类模式,读的时候要留折扣。