AutoResearchExam 基准:给 AI 研究智能体24小时做开放科研,发现普遍过拟合
dair_ai · x · 2026-09-10
UT Austin 团队发布 AutoResearchExam 基准,评测智能体在开放式机器学习与工程任务上的研究能力:
- 覆盖模型训练、数据整理、AI 安全与可解释性等 7 个研究领域
- 每个任务给智能体 24 小时和一台 CPU/GPU 机器,通过实验和反馈迭代方案,综合速度与质量打分
- 独特设计:检验智能体提出的改进在未见数据上是否成立,发现研究智能体在改进过程中经常过拟合
- 前沿对比:Astra 起步强、领先约 19 小时,Fable 5.1 在最后几小时反超;Qwen3.8 Max、Gemini 3.8 Flash、Grok 4.6 在成本-性能帕累托前沿
- 核心观察:限制不在任务时长,而是智能体常因低质量探索而停滞,可能因 OOD 或缺乏顶级研究员那种靠经验积累的直觉式创造力
所属事件:AutoResearchExam：24 小时真机评测 AI 智能体自主科研(7 条相关)→
「研究」频道最新
- AISI:80 美元算力微调即可绕过开放生物模型的数据过滤 — connoraxiotes · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 弗莱堡生成智能实验室通过 ELLIS 项目招收多名全奖博士，10月31日截止 — yuyinzhou_cs · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27
- Wakaru 开源 ontologize:用模型激活为数据集自动生成本体标签 — amplifiedamp · 2026-10-27
- EMNLP Oral 论文用跨层转码器揭示 LLM 多语言共享表征机制 — ZhijingJin · 2026-10-27