Meta AI 推出 AutoBenchmark:自动造基准,发现人类介入收益巨大
jaseweston · x · 2026-09-30
Meta AI 研究员 Jason Weston 发布 AutoBenchmark 项目:让 autoresearch 智能体自动创建基准,再用这些基准反过来评测 autoresearch 智能体本身,形成完整的递归改进闭环,并系统研究「人类在环」的作用。
关键发现:
- 人类-智能体协作显著优于纯智能体:构思阶段的细粒度人类反馈至关重要,未来可用 AutoBenchmark 在更强智能体上量化这一点;
- 用该配方可以造出「autoresearch 基准」,实现递归自我改进;
- 基准创建最有效的两个反馈来源:基准解题者 + 外部验证者(人类+AI)。
所属事件:Meta AI 推出 AutoBenchmark 自动生成评测基准(3 条相关)→
「研究」频道最新
- TotalSegmentator 在常规胸 CT 中量出 42mm 扩张主动脉 — MaziyarPanahi · 2026-11-16
- Tivadar Danka 发布 4000 字图解机器学习所需图论长文 — TivadarDanka · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- GTAgentClinic 一行命令安装,可让 Claude Code/Codex 接管 3D 医院夜班 — Michael_D_Moor · 2026-11-16
- 28 个主流模型训练截止日期盘点:近半数不公布,Gemini 4 Carbon 发布即落后 8 个月 — Joozio · 2026-11-16
- FutureSim Q3:LLM 从经验中真实变强,Opus 5.5 登顶 — rickasaurus · 2026-11-16