AutoResearchExam：24 小时真机评测 AI 智能体自主科研
AutoResearchExam 是一个评测 AI 智能体自主科研能力的新基准：给智能体一台 CPU/GPU 机器和 24 小时窗口，让其在开放式机器学习与工程任务上开展研究。基准包含 29 项任务，覆盖模型训练、数据整理、AI 安全与可解释性等 7 个研究方向，为衡量「AI 研究员」的真实水平提供了可复现框架，评测发现智能体普遍存在过拟合现象。
已确认
- 任务设定：共 29 项开放式任务、7 个研究领域（含模型训练、数据整理、AI 安全与可解释性），每个任务给智能体一台 CPU/GPU 机器和 24 小时窗口，通过实验与反馈迭代改进。
- 评测方式：保留一个隐藏测试集，观察模型在 24 小时自主科研中的表现；提出 AUARC（Auto Research Curve 下面积）指标，以隐藏测试集奖励曲线衡量研究产出，考察的是持续迭代提升测试集分数的速度而非一次性成绩。
- 行为观察：据 m2 中 Alex Dimakis 介绍，不同智能体在任务中的行为差异显著；据 dairai 转述的评测结果，智能体普遍存在过拟合现象。
尚未确认
- 发布主体表述存在分歧：Alex Dimakis 本人帖子称其团队工作，dairai 与 simonguozirui 称为 UT Austin 团队（Alex Dimakis 等）成果，AashaySachdeva 则称由 Bespoke Labs 发布。具体归属需以论文原文为准。
为什么重要
- 该基准把评测从静态问答推向「给机器、给时间、看产出」的真实科研场景，直接测试智能体在长周期、多轮迭代任务中的研究能力。
- 隐藏测试集设计可减少针对公开测试集的作弊与过拟合，AUARC 指标为衡量持续改进速度提供了统一量化标准。
2026-09-10 ~ 2026-09-10 · 7 条相关
一手来源
- 新基准 AutoResearchExam:给 AI 研究员 24 小时机器,实测 Agent 做科研的真实水平 — AlexGDimakis ·
- AutoResearchExam:24 小时观察 AI 智能体做科研,行为差异显著 — AlexGDimakis ·
- AutoResearchExam 用隐藏测试集观察 AI 做 24 小时科研的真实行为 — AlexGDimakis ·
- 【源头】新基准 AutoResearchExam:给 AI 研究员 24 小时机器,实测 Agent 做科研的真实水平 — AlexGDimakis · 2026-09-10
- 【源头】AutoResearchExam:24 小时观察 AI 智能体做科研,行为差异显著 — AlexGDimakis · 2026-09-10
- Bespoke Labs 发布 AutoResearchExam:29 项任务测 24 小时自主科研 — AashaySachdeva · 2026-09-10
- 【源头】AutoResearchExam 用隐藏测试集观察 AI 做 24 小时科研的真实行为 — AlexGDimakis · 2026-09-10
- UT Austin releases AutoResearchExam, testing research agents in 24-hour open experiments — simonguozirui · 2026-09-10
另有 2 条近重复转述:dair_ai · sudoraohacker