研究者质疑 METR 任务时长基准:称高估真实任务长度超 100 倍
teortaxesTex · x · 2026-11-21
Ramez Naam 发文指出,衡量 AI 自主完成任务长度的主流基准可能严重失真:在 80% 成功率下,ECI→METR 的估算分别是 OpenAI 内部真实任务长度的 33 倍、Google 的 41 倍;原始 AI 2027 情景所依据的真实世界任务长度被高估超过 100 倍。jessicata 转发评论称这些差异「非常重大」,提醒不要把 AI 预测全押在单一基准上。这一质疑若成立,将动摇以 METR 任务时长外推 AGI 时间表的一类预测。
所属事件:Ramez Naam 质疑 METR 基准高估 AI 任务时长逾百倍(5 条相关)→
「漫话AGI」频道最新
- 陶哲轩谈 AI 数学竞赛:赚走果实,数学上却几乎没学到东西 — GaryMarcus · 2026-11-21
- AI 研究取胜之道:把实验做小,单位时间信息增益最大化 — strickvl · 2026-11-21
- Ramez Naam 外推:AI 达到 98% 人类时长达任务还要十年 — GaryMarcus · 2026-11-21
- AI 该不该替用户拦截自毁式请求?Reddit 引发代理权之争 — LookOverall · 2026-11-21
- Shermer 重申 AI 观:不是乌托邦也非末世,而是渐进的「Protopia」 — intellectronica · 2026-11-21
- Hassabis 预言两年内 AI 攻克千禧难题,半年后黎曼猜想已有候选解 — Hesamation · 2026-11-21