Ramez Naam:METR 与 AI 2027 预测夸大任务时长最高 114 倍
paulnovosad · x · 2026-11-21
Ramez Naam 撰文指出,业界最重要的 AI 能力图表——METR 任务时长基准及其外推(如 AI 2027 场景)——与现实数据严重脱节。
核心发现(配图数据):
- 在 80% 成功率下,ECI→METR 估计与 AI 2027 场景预测的任务时长比 OpenAI/Google 内部真实数据夸大 33–114 倍
- Google 内部研究实测任务时长约 9 分钟,而 AI 2027 预测同一日期为 17.1 小时(夸大 114 倍);METR 外推为 6.1 小时(41 倍)
- OpenAI 内部实测约 16.2 分钟,对比 AI 2027 预测的 30 小时(111 倍)、ECI→METR 的 8.9 小时(33 倍)
- 真实研究工作更碎片、更混乱,且从 6 月到 10 月 OpenAI 内部任务时长增速远慢于预测曲线
结论:不是指责预测者——在没有真实数据时大家都在建模;如今真实数据已出现,AI 圈应从理论家转向实证派。
「漫话AGI」频道最新
- 博主预测:一年内至少六家实验室能自主构建证明 RH 的技术 — _aidan_clark_ · 2026-11-21
- 博主预测:一年内多家实验室将自主构建可证明黎曼猜想的技术 — _aidan_clark_ · 2026-11-21
- 博主称 AI 泡沫已破:多只泡沫股跌 50%,个别累计跌超 90% — oran_ge · 2026-11-21
- 2月机器 token 消费超人类,9月已达人类 7.8 倍,Infra 要为 agent 重建 — AccBalanced · 2026-11-21
- 科幻式畅想:2098 年数学全解疾病全治,但洗衣服还得自己来 — chrisalbon · 2026-11-21
- ChatGPT 站队友争议:CDT 在弱囚徒困境中该不该背叛 — jd_pressman · 2026-11-21