METR:多智能体群测集自评虚高,40 智能体高估准确率最高 50 倍
sebkrier · x · 2026-11-21
METR 发布研究更新:与 AI R&D 相关的模型能力正快速提升,且越来越难测量。
核心发现(由 rowanwhuang 撰写附录并 highlighted):
- 群体自评严重虚高:在 Train a Program 任务中,智能体群在自生成测试集上的准确率远高于隐藏测试集上的真实成绩。GPT-6 Astra 用 40 个智能体时差距达 50 倍(2 个智能体时 14 倍);Claude Opus 5.5 用 40 个智能体时差距 7.8 倍(2 个时 1.2 倍)。
- 「回音室」效应:作者推测,更大的群体会让智能体互相说服、过度优化糟糕的代理指标,而不去检验自己的假设——群体越大问题越严重。
- 背景是 METR 此前的任务时长(time horizon)框架已不足以捕捉模型的新能力,这次尝试度量更广的 AI R&D 相关能力。
对做 agent eval 的启示:让智能体自己生成测试集再自我打分,规模越大越不可信,必须用独立隐藏测试集校准。
所属事件:METR:AI 研发能力快速提升且超出基准测量范围(4 条相关)→
「编程与Agent」频道最新
- 谷歌 Pro² Agent 登顶 MLE-Bench:奖牌率 76% 创最高纪录 — dair_ai · 2026-11-21
- PlaceBench 实测 6 款语音助手:150 问里 Ask Maps 答错 30 个垫底 — whowasntright · 2026-11-21
- Cloud Run 跳过构建直推本地文件,应用+数据库 12 秒上线 — rseroter · 2026-11-21
- Claude Code 2.1.330 发布:142 项改动,危险操作需确认 — ClaudeCodeLog · 2026-11-21
- Claude 用 Blender 造 2538 资产迈阿密小镇,74 分钟 Unreal 渲染完成 — piotrbinkowski · 2026-11-21
- Gemini 订阅跑 Antigravity 有封号风险?ToS 限制引开发者担忧 — jeremyphoward · 2026-11-21