Ramez Naam 质疑 METR 基准高估 AI 任务时长逾百倍
Ramez Naam 于 11 月 21 日发文,对业界最重要的 AI 能力指标——METR 任务时长基准及其外推——提出系统性质疑,认为其与真实数据严重脱节。该分析经 Gary Marcus 等多人转发,引发广泛讨论。
已确认
- 在 80% 成功率下,ECI→METR 估算分别是 OpenAI 内部真实任务长度的 33 倍、Google 的 41 倍;最高夸大达 114 倍。
- 著名的 AI 2027 快速起飞预测同样被指高估:其预测 2026 年 10 月 9 日 OpenAI 任务时长为 30 小时(80% 成功率),而真实测量仅 16.2 分钟,高估 111 倍。
- 预测与实测之间的差距还在扩大:目前约 100 倍的鸿沟按当前速度每月扩大约 30 倍,12 个月内可能达到约 3000 倍。
- Naam 的外推基于 Epoch Capabilities Index 每年增长 18.9 点,依据是 2026 年 3-10 月八个月间 OpenAI 的真实研究任务数据,结论是 AI 达到 98% 人类时长的任务还需约十年。
为什么重要
- METR 任务时长曲线是 AI 能力预测和 AI 2027 等快速起飞情景的核心依据;若其外推系统性高估真实能力百倍量级,相关加速论叙事与政策判断都需要重新校准。
- Gary Marcus 等评论者借此进一步质疑业界普遍的乐观预测,认为预测与实测之间不断扩大的鸿沟说明当前能力基准可能严重失真。
2026-11-21 ~ 2026-11-21 · 5 条相关
- 第 1 集:METR 季报:AI 研发能力倍增快至 3.6 个月且愈发难测(2026-11-21,8 条)
- 第 2 集:Ramez Naam 质疑 METR 基准高估 AI 任务时长逾百倍(2026-11-21,5 条)
- Ramez Naam:METR 与 AI 2027 预测夸大任务时长最高 114 倍 — paulnovosad · 2026-11-21
- 研究者质疑 METR 任务时长基准:称高估真实任务长度超 100 倍 — teortaxesTex · 2026-11-21
- AI 2027 预测被指高估 OpenAI 真实任务时长 111 倍 — GaryMarcus · 2026-11-21
- 预测与实测差百倍:AI 任务时长鸿沟正以每月扩大 30 倍速度恶化 — GaryMarcus · 2026-11-21
- Ramez Naam 外推:AI 达到 98% 人类时长达任务还要十年 — GaryMarcus · 2026-11-21