专题 · FULL STORY

METR 季报引争议:AI 能力倍增周期遭质疑

METR 发布季度评测更新,称 AI 研发能力倍增周期缩短至约 3.6 个月且愈发难以测量。次日 Ramez Naam 发文系统性质疑该基准及其外推严重脱离真实数据,高估任务时长可达百倍以上,引发业界对核心能力指标的争论。

2026-11-21 ~ 2026-11-21 · 2 集 · 13 条

第 1 集 · METR 季报:AI 研发能力倍增快至 3.6 个月且愈发难测(2026-11-21,8 条)

METR 于 2026 年 11 月 20 日前后发布季度能力评测更新(作者包括 Beth Barnes、Megan Kinx 等,附录由 rowanwhuang 撰写),评估截至 Opus 5.5 与 GPT-6 Astra 的公开模型在 AI 研发加速相关任务上的表现。核心结论是:与 AI R&D 相关的模型能力正在快速提升,且越来越难以测量。

已确认

  • 据用户 scaling01 转述 METR 发布的 Time Horizons 2.0 更新:TH1.1 数据一度中断后回归,翻倍时间为 3.6 个月,与 OpenAI 自己估计的 3.8 个月接近;GPT-6 Astra 的时间视界达到 40.3 小时。
  • 据 1411337 转述,该能力曲线追踪覆盖从 GPT-4o(约 5 分钟)到 o1 及之后的模型,任务时长每约 3.6 个月翻倍,95% 置信区间为 2.08–4.94 个月。
  • 原有 TH1 基准因模型(如 Mythos)能力超出「人类完成任务所需时长」的可估计范围而迅速饱和,METR 因此打造了更稳健的新基准 TH2,覆盖判断力、难以验证的任务等更多维度;据 josogood 转述,在 TH2(可验证)任务上重测后,能力倍增周期从 3.07 个月缩短至 1.65 个月,按此推算新基准可能在 2027 年 7 月左右再度饱和。
  • 据 iruletheworldmo 转述(其称关键数据「埋在正文里」):METR 花了 9 万美元、以 200–350 美元/小时的时薪雇人类专家(包括 Codeforces 大师和 ARC-AGI 冠军),依然找不到能在多月期优化任务上跑赢前沿模型的人类。
  • 模型在编码和优化类任务上表现突出。
  • 由 rowanwhuang 撰写并被 highlight 的附录指出:在「Train a Program」任务中,由 40 个智能体组成的多智能体群体自我评估严重虚高,最高可高估准确率约 50 倍。

为什么重要

  • 基准饱和意味着传统任务时长度量已不足以刻画前沿模型在研发类任务上的真实能力,测量方法的更新速度开始落后于能力增长速度。
  • 3.6 个月(TH1 口径)与 1.65 个月(TH2 可验证任务口径)的倍增周期若持续,将直接冲击 AI 研发加速与自动化科研的相关预期。
  • 花费 9 万美元仍找不到能胜过前沿模型的人类专家,说明在长时程优化任务上模型的相对优势已相当明显。
  • 多智能体自评大幅虚高的发现提醒:在难验证任务上,不能轻信模型群体的自我报告,可靠的外部验证仍是评估的关键瓶颈。

第 2 集 · Ramez Naam 质疑 METR 基准高估 AI 任务时长逾百倍(2026-11-21,5 条)

Ramez Naam 于 11 月 21 日发文,对业界最重要的 AI 能力指标——METR 任务时长基准及其外推——提出系统性质疑,认为其与真实数据严重脱节。该分析经 Gary Marcus 等多人转发,引发广泛讨论。

已确认

  • 在 80% 成功率下,ECI→METR 估算分别是 OpenAI 内部真实任务长度的 33 倍、Google 的 41 倍;最高夸大达 114 倍。
  • 著名的 AI 2027 快速起飞预测同样被指高估:其预测 2026 年 10 月 9 日 OpenAI 任务时长为 30 小时(80% 成功率),而真实测量仅 16.2 分钟,高估 111 倍。
  • 预测与实测之间的差距还在扩大:目前约 100 倍的鸿沟按当前速度每月扩大约 30 倍,12 个月内可能达到约 3000 倍。
  • Naam 的外推基于 Epoch Capabilities Index 每年增长 18.9 点,依据是 2026 年 3-10 月八个月间 OpenAI 的真实研究任务数据,结论是 AI 达到 98% 人类时长的任务还需约十年。

为什么重要

  • METR 任务时长曲线是 AI 能力预测和 AI 2027 等快速起飞情景的核心依据;若其外推系统性高估真实能力百倍量级,相关加速论叙事与政策判断都需要重新校准。
  • Gary Marcus 等评论者借此进一步质疑业界普遍的乐观预测,认为预测与实测之间不断扩大的鸿沟说明当前能力基准可能严重失真。