Bespoke Labs 发布 AutoResearchExam:29 项任务测 24 小时自主科研
AashaySachdeva · x · 2026-09-10
Bespoke Labs 发布面向智能体自主科研能力的新基准 AutoResearchExam,包含 29 项开放式 ML 研究任务,测量智能体在 24 小时持续科研窗口内提升私密测试集分数的速度。要点:
- 衡量持续迭代而非一次性作答:真实科研依赖反馈迭代与多路探索,现有 one-shot/long-horizon 基准难以捕捉这种演化,也可能混淆「验证集刷分」与真正泛化。
- 分离可见进步与泛化:智能体优化验证集分数,用隐藏测试集的 AUARC 衡量其找到可泛化解法的速度,防止在验证集上过拟合。
- 时间/成本/行为分析:排名随评估窗口长短而变,说明单一时间预算会漏掉模型间差异;同时比较了成本效率与智能体分配研究精力的方式。
- 实验采用标准 Terminus 2 harness,任务列表已在 GitHub 公开,附排行榜。
作者认为这项工作正当其时:数学与科学领域近期的突破(如纳维-斯托克斯千禧年问题)都需要持续的自主科研与测试时扩展,是通向递归自我改进的关键一环。
所属事件:AutoResearchExam：24 小时真机评测 AI 智能体自主科研(7 条相关)→
「编程与Agent」频道最新
- 观点:OSS 应用的核心原语是 PoC 而非 PR — dbreunig · 2026-10-27
- 把一切接入 Dot:达人分享突破 ChatGPT 订阅额度限制的用法 — teortaxesTex · 2026-10-27
- Jev 人脉搜索 API 上线:$0.0089/条,自称比 Clay 便宜 85% — alexcovo_eth · 2026-10-27
- 逐一审读 compound engineering 全部技能:哪些环节该留给人类 — kieranklaassen · 2026-10-27
- UCSB 教授王骁连获三笔超 18 万美元资助，推进实用高效主动式 AI Agent — xwang_lk · 2026-10-27
- 开发者观点：生成式游戏不必实时渲染，回合制交互同样可行 — djcows · 2026-10-27