研究者质疑 METR 任务时长基准:称高估真实任务长度超 100 倍

teortaxesTex · x · 2026-11-21

Ramez Naam 发文指出,衡量 AI 自主完成任务长度的主流基准可能严重失真:在 80% 成功率下,ECI→METR 的估算分别是 OpenAI 内部真实任务长度的 33 倍、Google 的 41 倍;原始 AI 2027 情景所依据的真实世界任务长度被高估超过 100 倍。jessicata 转发评论称这些差异「非常重大」,提醒不要把 AI 预测全押在单一基准上。这一质疑若成立,将动摇以 METR 任务时长外推 AGI 时间表的一类预测。

所属事件:Ramez Naam 质疑 METR 基准高估 AI 任务时长逾百倍(5 条相关)→

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →