AutoResearchExam 发布:给 AI 研究员 24 小时真机跑长时程基准
sudoraohacker · x · 2026-09-10
Alex Dimakis 团队发布 AutoResearchExam——一个开放式机器学习与工程任务基准，覆盖模型训练、数据整理、AI 安全与可解释性等七大研究方向。
- 每个任务给 agent 一台 CPU/GPU 机器和 24 小时，通过实验与反馈迭代改进方案，以速度+质量综合评分。
- 独特设计：检验 agent 做出的改进能否在其从未见过的数据上成立。
- 关键发现：AI 研究 agent 在自我改进过程中经常过拟合。
- 单模型跑一轮基准需约 24 小时——测长时程能力就得用长时程任务。前沿模型间的正面对比（如 Astra）已在进行中。
所属事件:AutoResearchExam：24 小时真机评测 AI 智能体自主科研(7 条相关)→
「编程与Agent」频道最新
- 观点:OSS 应用的核心原语是 PoC 而非 PR — dbreunig · 2026-10-27
- 把一切接入 Dot:达人分享突破 ChatGPT 订阅额度限制的用法 — teortaxesTex · 2026-10-27
- Jev 人脉搜索 API 上线:$0.0089/条,自称比 Clay 便宜 85% — alexcovo_eth · 2026-10-27
- 逐一审读 compound engineering 全部技能:哪些环节该留给人类 — kieranklaassen · 2026-10-27
- UCSB 教授王骁连获三笔超 18 万美元资助，推进实用高效主动式 AI Agent — xwang_lk · 2026-10-27
- 开发者观点：生成式游戏不必实时渲染，回合制交互同样可行 — djcows · 2026-10-27