UT Austin releases AutoResearchExam, testing research agents in 24-hour open experiments

simonguozirui · x · 2026-09-10

UT Austin 团队（Alex Dimakis 等）发布 AutoResearchExam，一个针对开放式机器学习与工程任务的 agent 基准：- 覆盖 7 个研究领域，包括模型训练、数据整理、AI 安全与可解释性；- 每个任务给 agent 一台 CPU/GPU 机器和 24 小时，通过实验与反馈迭代改进方案，按速度+质量综合打分；- 独特设计：检验 agent 做出的改进能否在从未见过的数据上成立——发现 AI 研究 agent 在改进时经常过拟合；- 展示了前沿研究 agent（Astra 等）的正面对比。配套工具可用 Harbor 对研究 agent 进行基准测试。