METR:多智能体群测集自评虚高,40 智能体高估准确率最高 50 倍

sebkrier · x · 2026-11-21

METR 发布研究更新:与 AI R&D 相关的模型能力正快速提升,且越来越难测量。

核心发现(由 rowanwhuang 撰写附录并 highlighted):

对做 agent eval 的启示:让智能体自己生成测试集再自我打分,规模越大越不可信,必须用独立隐藏测试集校准。

所属事件:METR:AI 研发能力快速提升且超出基准测量范围(4 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →