Meta AI 推出 AutoBenchmark 自动生成评测基准
Meta AI 研究员 Jason Weston 发布 AutoBenchmark 项目,让 autoresearch 智能体自动创建基准并反过来评测自身。团队发现基准难度可迁移到未参与循环的新模型如 Nemotron;另一关键结论是当研究循环停滞时,人类的定向介入能带来显著收益。团队还在新自建基准 Rebu 上进行了验证,并发布了完整博客。
2026-09-30 ~ 2026-09-30 · 3 条相关
- Meta AI 推出 AutoBenchmark:自动造基准,发现人类介入收益巨大 — jaseweston · 2026-09-30
- AutoBenchmark 后续:基准难度可迁移到未见过的新模型 — jaseweston · 2026-09-30
- AutoBenchmark 收官:循环停滞时人类定向介入有效,附博客全文 — jaseweston · 2026-09-30