AutoResearchExam 基准实测 24 小时自主科研智能体
Alex Dimakis 团队与 Bespoke Labs 发布新基准 AutoResearchExam,包含 29 项开放式 ML 研究任务,覆盖模型训练、数据整理、AI 安全与可解释性等七个研究方向。每项任务给智能体 24 小时机器访问权限持续科研,并保留隐藏测试集观察其真实行为与表现,同时提出 AUARC 指标衡量自主科研能力,不同智能体的行为差异显著。
2026-09-10 ~ 2026-09-10 · 4 条相关
- 新基准 AutoResearchExam:给 AI 研究员 24 小时机器,实测 Agent 做科研的真实水平 — AlexGDimakis · 2026-09-10
- AutoResearchExam:24 小时观察 AI 智能体做科研,行为差异显著 — AlexGDimakis · 2026-09-10
- Bespoke Labs 发布 AutoResearchExam:29 项任务测 24 小时自主科研 — AashaySachdeva · 2026-09-10
- AutoResearchExam 用隐藏测试集观察 AI 做 24 小时科研的真实行为 — AlexGDimakis · 2026-09-10