AutoResearchExam:24 小时观察 AI 智能体做科研,行为差异显著
AlexGDimakis · x · 2026-09-10
研究者发布 AutoResearchExam,一个覆盖开放机器学习与工程任务的 benchmark,涵盖模型训练、数据整理、AI 安全与可解释性等七个研究方向。每题给智能体一台 CPU/GPU 机器、24 小时,通过实验与反馈迭代改进方案,同时衡量速度等指标。
初步行为观察:
- GPT-5.6 Sol 在超过一半的观察研究轮次中在调超参数;Fable 与 Opus 则更少调参,倾向寻找新想法或实质性修复
- Fable 和 Opus 会在本地先测多个变体再提交,因此提交次数并不能反映其全部实验量
- 团队还观察了给提示或更换 harness 时的行为变化
benchmark 将持续维护,面向研究 RSI 方向的研究者开放。
所属事件:AutoResearchExam：24 小时真机评测 AI 智能体自主科研(7 条相关)→
「编程与Agent」频道最新
- Nitro Modules v1 跑通 Node.js,一套原生模块通吃 iOS、macOS 与桌面 — Birchlabs · 2026-10-27
- Gemini 4 Argon 助谷歌图挖掘团队 5 小时搞定一年路线图 — rseroter · 2026-10-27
- 4 个 Gemini 智能体自助协作 27 小时通关 Minecraft — rohanpaul_ai · 2026-10-27
- 规划"主控 Agent 管多团队"架构：LangGraph 还是微软 Agent Framework — DonXendon · 2026-10-27
- iPhone 配 Matter 灯体验糟糕,他 10 分钟 vibe coding 出更好用的控制端 — blixt · 2026-10-27
- Score Centering 论文落地:TRL 异步 GRPO 训练器默认启用 — _lewtun · 2026-10-27