牛津学者 Ord：OpenAI 真实研发时距仅为 METR 基准 1/12
牛津学者 Toby Ord 于 10 月 22 日就 METR 时间跨度（time horizon）基准与前沿模型真实表现之间的落差连续发布多条分析。核心结论是：按 METR 的 80% 成功率任务时长标准，2025 年 1–7 月 OpenAI 模型在真实世界 AI 研发任务上的平均时距仅为 METR 任务套件水平的约 1/12，相当于比主流快速指数趋势落后约 3.6 次倍增、约 14 个月的进展。
已确认
- Toby Ord 对 METR 时间跨度图表做了 sanity check：如果假设真实世界 AI 研发工作难度与 METR 任务集相同，那么 OpenAI 公布的数字意味着实际进度比图表显示的高估了约 14 个月。
- Ord 转述 @rameze 关于递归自我改进现状的分析，引用 OpenAI 关于自身研究自动化的报告关键数据：模型完成研发类任务时 80% 时间地平线只有 15 分钟，意味着模型难以长时间独立持续推进任务。
- Ord 指出对比数据：METR 的「80% 成功率时间视野」指标到 2026 年 4 月停止报告时已达 3 小时，而 OpenAI 内部报告仅为 15 分钟。
- Ord 还援引谷歌 DeepMind 在 Gemini 4 Safety Report 第 78 页 发布的类似内部分析：在内部「AI 做 AI R&D」任务上，模型的 80% 成功率时间视野同样约为 15 分钟，与 OpenAI 的内部数字相互印证。
- Ben Todd 对 Ramez 系列帖子作出回应，认为这其实是偏正面的更新：现实研究任务的时间跨度仅比 METR 预测落后约一年。
为什么重要
- METR 时距基准常被用作衡量前沿模型自主完成长任务能力的核心指标，并外推出快速指数进步趋势；若真实研发场景中的时距仅为基准的 1/12，基于该基准的能力外推和自动化时间表可能显著乐观。
- OpenAI 与 DeepMind 两家实验室自家报告的约 15 分钟 80% 时间地平线，为递归自我改进的当前水平提供了难得的内部视角，与基准成绩形成鲜明反差。
- Ben Todd 的不同解读显示，同一数据在「乐观派」与「审慎派」间会得出不同结论，凸显对落后幅度估计的争议空间。
- Ord 的分析属于基于公开数据的推断，隐含前提是「真实研发任务难度与 METR 任务集相当」，这一假设本身是该结论成立与否的关键。
2026-10-22 ~ 2026-10-22 · 8 条相关
一手来源
- OpenAI 模型真实 AI 研发任务时距仅为 METR 基准的 1/12 — tobyordoxford ·
- Gemini 4 安全报告：AI 做 AI 研发任务 80% 成功率仅覆盖约 15 分钟 — tobyordoxford ·
- Ben Todd：真实研究任务时间跨度仅落后 METR 预测约一年 — ben_j_todd ·
- OpenAI 自研自动化报告：模型 80% 时间地平线仅 15 分钟 — tobyordoxford · 2026-10-22
- METR 80% 时间视野曾达 3 小时，OpenAI 内部报告仅 15 分钟 — tobyordoxford · 2026-10-22
- OpenAI 模型任务时长基准仅为 METR 趋势的十二分之一，落后约 14 个月 — tobyordoxford · 2026-10-22
- 【源头】OpenAI 模型真实 AI 研发任务时距仅为 METR 基准的 1/12 — tobyordoxford · 2026-10-22
- Toby Ord 复核 METR 图表：OpenAI 时间跨度数据或被高估 14 个月 — tobyordoxford · 2026-10-22
- Toby Ord:Gemini 4 安全报告披露内部 AI 研发效率证据 — tobyordoxford · 2026-10-22
- 【源头】Gemini 4 安全报告：AI 做 AI 研发任务 80% 成功率仅覆盖约 15 分钟 — tobyordoxford · 2026-10-22
- 【源头】Ben Todd：真实研究任务时间跨度仅落后 METR 预测约一年 — ben_j_todd · 2026-10-22