AutoResearchExam 用隐藏测试集观察 AI 做 24 小时科研的真实行为
AlexGDimakis · x · 2026-09-10
Alex Dimakis 介绍 AutoResearchExam 框架:保留一个隐藏测试集,观察模型在 24 小时自主科研任务中的表现,并提出 AUARC(Auto Research Curve 下面积)指标——以隐藏测试集奖励曲线衡量研究质量,能区分模型是否过拟合,奖励良好的研究行为。
有趣发现:
- GPT-5.6 Sol 在超过一半的研究轮次中都在调超参数
- Fable 和 Opus 较少调参,更多尝试新想法或实质性修复
- 后两者倾向于先在本地测试多个变体再推进
所属事件:AutoResearchExam：24 小时真机评测 AI 智能体自主科研(7 条相关)→
「编程与Agent」频道最新
- Gemini 4 Argon 助谷歌图挖掘团队 5 小时搞定一年路线图 — rseroter · 2026-10-27
- 4 个 Gemini 智能体自助协作 27 小时通关 Minecraft — rohanpaul_ai · 2026-10-27
- 规划"主控 Agent 管多团队"架构：LangGraph 还是微软 Agent Framework — DonXendon · 2026-10-27
- iPhone 配 Matter 灯体验糟糕,他 10 分钟 vibe coding 出更好用的控制端 — blixt · 2026-10-27
- Score Centering 论文落地:TRL 异步 GRPO 训练器默认启用 — _lewtun · 2026-10-27
- 开源 Cloakroom：在模型看到之前 masking 掉 .env 里的密钥与隐私 — Shanjeev · 2026-10-27