AutoResearchExam 发布:给 AI 研究智能体 24 小时做真实科研任务
AlexGDimakis · x · 2026-11-10
UC Berkeley 的 Alex Dimakis 团队发布 AutoResearchExam(ARE),一个针对开放式机器学习与工程任务的基准,v1.1 版本已可原生在 Harbor 框架中运行任意 agent 与模型(一条 harbor run -d bespokelabs/autoresearch-exam 命令即可)。
- 覆盖模型训练、数据整理、AI 安全与可解释性等七个研究领域
- 每个任务给 agent 一台 CPU/GPU 机器和 24 小时,通过实验和反馈迭代改进方案,按速度+质量综合打分
- 独特设计:检验 agent 的改进能否在从未见过的数据上成立——发现 AI 研究智能体在优化过程中经常过拟合
「编程与Agent」频道最新
- 未能中奖后自制 AI 霓虹灯牌:能听会说还会派活 — alexcovo_eth · 2026-11-11
- Vercel Security Review 上线一周扫出 57,897 个漏洞,Agent 自动修复 14,665 个 — cramforce · 2026-11-11
- 小模型用对RLVR可追平巨头,Python动态类型致负迁移 — mdancho84 · 2026-11-11
- 字节阿里腾讯等50名研究者发布303页代码智能与Agent实战指南 — mdancho84 · 2026-11-11
- ByteAsk 开源终端 AI C++ 编程 Agent,自称 multi SWE-bench SOTA 省 60% token — ycombinator · 2026-11-11
- SlashVibe 推出 AI Agent 物理控制器:摇杆切换任务,售价 169 美元起 — Scobleizer · 2026-11-11