专题 · FULL STORY
OpenAI 内部 AI 任务时长每 86 天减半
OpenAI 自研自动化报告显示,内部 AI 研发任务的时间跨度已缩至约 15 分钟,且每 86 天减半。Toby Ord 指出 AI 在研发任务上已达人类 80% 水平却被低估,Basil Halperin 随后推串分析引发热议,AGI 时间线讨论持续发酵。
2026-11-07 ~ 2026-11-09 · 2 集 · 23 条
第 1 集 · 牛津哲学家称多数人的 AGI 时间线仍太长(2026-11-07,3 条)
牛津哲学家 Toby Ord 在讨论中指出一个被低估的事实:在 OpenAI 与 Google DeepMind 的测量中,AI 完成 AI 研发任务的 80% 时间跨度仅 15 分钟。他随后澄清,自己虽常批评短时间线的论述,但整体上认为多数人对 AGI 的时间线判断过长,这才是更大的问题。他还强调 15 分钟这一数据只是拼图一角,不代表自我改进(RSI)是否会起飞,并称愿意指出「自己阵营」中有缺陷的分析,这才是好的认识论。
- Toby Ord:多数人的 AGI 时间线太长才是更大的问题 — tobyordoxford · 2026-11-07
- Toby Ord:OpenAI 与 GDM 的 AI 研发 80% 时间跨度仅 15 分钟 — tobyordoxford · 2026-11-07
- Toby Ord:指出"自己阵营"的 flawed analysis 才是好认识论 — tobyordoxford · 2026-11-07
第 2 集 · OpenAI 内部数据 80% 时间地平线仅 15 分钟但翻倍极快,结论高度依赖拟合方法(2026-11-09,20 条)
Basil Halperin 于 11 月 9 日发布推串,分析 OpenAI 自研自动化报告中内部 AI 研发(research automation)任务的时间地平线数据。核心发现是:80% 成功率口径下的时间地平线仅约 15 分钟,远低于 METR 的标题数字,但增长很快;然而这一结论对拟合方法高度敏感,且 METR 基线本身也存在口径问题。Toby Ord 随后补充指出,少量 agent 完全做不好的任务会不成比例地拉低 80% 口径的时间地平线。
已确认
- 按 80% 准确率口径,OpenAI 内部任务 7 月时时间地平线约 15 分钟;按 METR 式 logistic 拟合,各成功率阈值(25%/50%/80%)的时间地平线均在 58-87 天(约 2 个月)翻倍,远快于 METR 公开测量的 4-7 个月。Weibull 拟合(引用 Gus Hamilton 与 Toby Ord 关于 AI agent 风险率的研究)得到类似结论。
- 50% 口径:朴素读数法下约 10 小时、68 天翻倍;logistic 拟合下约 6 小时、63 天翻倍。80% 口径:logistic 拟合约 15 分钟、86 天翻倍;朴素读数(经验 p80)则约 15 分钟、585 天翻倍,上升很慢。
- 逐月 logistic 成功率曲线拟合质量尚可(RMSE 3.6-6.9 个百分点)。
- OpenAI 内部数据中 80% 时间地平线约为 50% 的 15 倍,而 METR 数据中 50% 约为 80% 的 4 倍,比值差异悬殊,Halperin 不确定如何解读,推测可能与低/高上下文人类基线有关。
- METR 论文(Kwa et al.)的时间跨度以「低上下文」人类为基线;论文附录估计熟悉相关工作的 repo maintainer 比基线者快约一个数量级——若改用高上下文基线,时间跨度数值约低 10 倍。
- Kwa(METR)的跨领域分析显示:不同领域(SWE-bench、LiveCodeBench、GPQA、Tesla FSD、OSWorld、MATH 等)时间地平线绝对水平各不相同,但增速相似,均为 4-7 个月翻倍。
- Toby Ord 的修正估算:若把「agent 完全做不好的任务」占比修正为 15%,80% 时间地平线为 15 分钟仍然成立;他进一步猜测,若这类任务占比达到 25%,对 80% 口径时间地平线的拉低作用将远超那些 agent 只勉强能做的更长任务。
尚未确认
- 为何 OpenAI 内部时间地平线增速(约 2 个月翻倍)远快于 METR 公开测量。Halperin 提出两种解释:(a) 领域差异——内部 AI 研发任务本身特殊;(b) 时间地平线进展在不同领域间不均匀,若如此将更难用单一领域增速外推整体 AI 能力轨迹。他与 Dylan Ryfe 正在做扩展分析。
- 80% 地平线是否快速上升完全取决于拟合方法:朴素拟合显示 585 天翻倍、上升缓慢;METR 式拟合则显示 86 天翻倍。Halperin 在小结中明确强调这一方法依赖性。
- Ord 提出的「完全失败任务占比」效应目前只是粗略估算,其对 80% 地平线的实际影响程度尚待验证。
为什么重要
- 递归自我改进被外界热议,但 OpenAI 自己的数据显示高可靠性(80%)下模型可完成的任务跨度仍很短,这对「AI 很快能自主完成长程研发」的叙事是一层约束。
- Ord 指出的机制意味着 80% 口径的时间地平线可能被少量无法解决的任务结构性压低,用单一成功率阈值解读模型能力需格外谨慎。
- 时间地平线的翻倍周期常被用作外推 AI 能力的关键指标;若增速因领域、基线或拟合方法而大幅波动,相关预测的不确定性将显著上升。
- OpenAI 内部任务 80% 可靠性时间视野仅 15 分钟,翻倍要 585 天 — BasilHalperin · 2026-11-09
- 朴素读数法:OpenAI 80% 地平线 15 分钟、585 天翻倍,上升缓慢 — BasilHalperin · 2026-11-09
- logistic 拟合 OpenAI 数据:50% 地平线 6 小时、80% 仅 15 分钟 — BasilHalperin · 2026-11-09
- OpenAI 内部任务 80% 时间地平线仅 15 分钟,但每 86 天翻倍 — BasilHalperin · 2026-11-09
- 作者展示 OpenAI 内部任务逐月 logistic 成功率曲线拟合图 — BasilHalperin · 2026-11-09
- 作者小结:80% 地平线是否快速上升取决于拟合方法 — BasilHalperin · 2026-11-09
- Weibull 拟合 OpenAI 内部数据:各成功率时间地平线均在 58-87 天翻倍 — BasilHalperin · 2026-11-09
- OpenAI 内部时间地平线每 2 个月翻倍,远快于 METR 的 4-7 个月 — BasilHalperin · 2026-11-09
- Kwa 跨域分析:各领域时间地平线水平不同但增速相近 — BasilHalperin · 2026-11-09
- Kwa 分析:各领域时间视野增速同为 4-7 个月翻倍 — BasilHalperin · 2026-11-09
- 解释(b):时间视野进展或在不同领域间不均匀 — BasilHalperin · 2026-11-09
- METR 跨领域图:各领域时间视野水平不同但增速相近 — BasilHalperin · 2026-11-09
- METR 时间地平线用低上下文人类作基线,高上下文者快约 10 倍 — BasilHalperin · 2026-11-09
- METR 时间跨度换高上下文基线后骤降 10 倍,信号还剩多少 — BasilHalperin · 2026-11-09
- OpenAI 内部任务 p80/p50 时间地平线之比高达 15 倍,远超 METR 的 4 倍 — BasilHalperin · 2026-11-09
- OpenAI 的 p50/p80 时间视野比值约为 METR 的 4 倍 — BasilHalperin · 2026-11-09
- 复盘 OpenAI 研发任务时间跨度:约 15 分钟但两月翻倍 — BasilHalperin · 2026-11-09
- OpenAI 自研自动化报告:模型 80% 时间跨度仅 15 分钟 — tobyordoxford · 2026-11-09
- METR 时间跨度被高估?Toby Ord 指出硬任务占比影响巨大 — tobyordoxford · 2026-11-09
- Toby Ord 补充:少量完全失败任务会大幅拉低 80% 时间视野 — tobyordoxford · 2026-11-09