OpenAI 内部数据 80% 时间地平线仅 15 分钟但翻倍极快，结论高度依赖拟合方法

Basil Halperin 于 11 月 9 日发布推串，分析 OpenAI 自研自动化报告中内部 AI 研发（research automation）任务的时间地平线数据。核心发现是：80% 成功率口径下的时间地平线仅约 15 分钟，远低于 METR 的标题数字，但增长很快；然而这一结论对拟合方法高度敏感，且 METR 基线本身也存在口径问题。Toby Ord 随后补充指出，少量 agent 完全做不好的任务会不成比例地拉低 80% 口径的时间地平线。

已确认

• 按 80% 准确率口径，OpenAI 内部任务 7 月时时间地平线约 15 分钟；按 METR 式 logistic 拟合，各成功率阈值（25%/50%/80%）的时间地平线均在 58-87 天（约 2 个月）翻倍，远快于 METR 公开测量的 4-7 个月。Weibull 拟合（引用 Gus Hamilton 与 Toby Ord 关于 AI agent 风险率的研究）得到类似结论。
• 50% 口径：朴素读数法下约 10 小时、68 天翻倍；logistic 拟合下约 6 小时、63 天翻倍。80% 口径：logistic 拟合约 15 分钟、86 天翻倍；朴素读数（经验 p80）则约 15 分钟、585 天翻倍，上升很慢。
• 逐月 logistic 成功率曲线拟合质量尚可（RMSE 3.6-6.9 个百分点）。
• OpenAI 内部数据中 80% 时间地平线约为 50% 的 15 倍，而 METR 数据中 50% 约为 80% 的 4 倍，比值差异悬殊，Halperin 不确定如何解读，推测可能与低/高上下文人类基线有关。
• METR 论文（Kwa et al.）的时间跨度以「低上下文」人类为基线；论文附录估计熟悉相关工作的 repo maintainer 比基线者快约一个数量级——若改用高上下文基线，时间跨度数值约低 10 倍。
• Kwa（METR）的跨领域分析显示：不同领域（SWE-bench、LiveCodeBench、GPQA、Tesla FSD、OSWorld、MATH 等）时间地平线绝对水平各不相同，但增速相似，均为 4-7 个月翻倍。
• Toby Ord 的修正估算：若把「agent 完全做不好的任务」占比修正为 15%，80% 时间地平线为 15 分钟仍然成立；他进一步猜测，若这类任务占比达到 25%，对 80% 口径时间地平线的拉低作用将远超那些 agent 只勉强能做的更长任务。

尚未确认

• 为何 OpenAI 内部时间地平线增速（约 2 个月翻倍）远快于 METR 公开测量。Halperin 提出两种解释：(a) 领域差异——内部 AI 研发任务本身特殊；(b) 时间地平线进展在不同领域间不均匀，若如此将更难用单一领域增速外推整体 AI 能力轨迹。他与 Dylan Ryfe 正在做扩展分析。
• 80% 地平线是否快速上升完全取决于拟合方法：朴素拟合显示 585 天翻倍、上升缓慢；METR 式拟合则显示 86 天翻倍。Halperin 在小结中明确强调这一方法依赖性。
• Ord 提出的「完全失败任务占比」效应目前只是粗略估算，其对 80% 地平线的实际影响程度尚待验证。

为什么重要

• 递归自我改进被外界热议，但 OpenAI 自己的数据显示高可靠性（80%）下模型可完成的任务跨度仍很短，这对「AI 很快能自主完成长程研发」的叙事是一层约束。
• Ord 指出的机制意味着 80% 口径的时间地平线可能被少量无法解决的任务结构性压低，用单一成功率阈值解读模型能力需格外谨慎。
• 时间地平线的翻倍周期常被用作外推 AI 能力的关键指标；若增速因领域、基线或拟合方法而大幅波动，相关预测的不确定性将显著上升。

2026-11-09 ~ 2026-11-09 · 20 条相关

事件全程(共 2 集)→

• 第 1 集:牛津哲学家称多数人的 AGI 时间线仍太长(2026-11-07,3 条)
• 第 2 集:OpenAI 内部数据 80% 时间地平线仅 15 分钟但翻倍极快，结论高度依赖拟合方法(2026-11-09,20 条)

• OpenAI 内部任务 80% 可靠性时间视野仅 15 分钟，翻倍要 585 天 — BasilHalperin · 2026-11-09
• 朴素读数法：OpenAI 80% 地平线 15 分钟、585 天翻倍，上升缓慢 — BasilHalperin · 2026-11-09
• logistic 拟合 OpenAI 数据：50% 地平线 6 小时、80% 仅 15 分钟 — BasilHalperin · 2026-11-09
• OpenAI 内部任务 80% 时间地平线仅 15 分钟，但每 86 天翻倍 — BasilHalperin · 2026-11-09
• 作者展示 OpenAI 内部任务逐月 logistic 成功率曲线拟合图 — BasilHalperin · 2026-11-09
• 【源头】作者小结：80% 地平线是否快速上升取决于拟合方法 — BasilHalperin · 2026-11-09
• Weibull 拟合 OpenAI 内部数据：各成功率时间地平线均在 58-87 天翻倍 — BasilHalperin · 2026-11-09
• OpenAI 内部时间地平线每 2 个月翻倍，远快于 METR 的 4-7 个月 — BasilHalperin · 2026-11-09
• Kwa 跨域分析：各领域时间地平线水平不同但增速相近 — BasilHalperin · 2026-11-09
• Kwa 分析：各领域时间视野增速同为 4-7 个月翻倍 — BasilHalperin · 2026-11-09
• 解释（b）：时间视野进展或在不同领域间不均匀 — BasilHalperin · 2026-11-09
• METR 跨领域图：各领域时间视野水平不同但增速相近 — BasilHalperin · 2026-11-09
• METR 时间地平线用低上下文人类作基线，高上下文者快约 10 倍 — BasilHalperin · 2026-11-09
• METR 时间跨度换高上下文基线后骤降 10 倍，信号还剩多少 — BasilHalperin · 2026-11-09
• OpenAI 内部任务 p80/p50 时间地平线之比高达 15 倍，远超 METR 的 4 倍 — BasilHalperin · 2026-11-09
• OpenAI 的 p50/p80 时间视野比值约为 METR 的 4 倍 — BasilHalperin · 2026-11-09
• 【源头】复盘 OpenAI 研发任务时间跨度：约 15 分钟但两月翻倍 — BasilHalperin · 2026-11-09
• OpenAI 自研自动化报告：模型 80% 时间跨度仅 15 分钟 — tobyordoxford · 2026-11-09
• METR 时间跨度被高估？Toby Ord 指出硬任务占比影响巨大 — tobyordoxford · 2026-11-09
• 【源头】Toby Ord 补充：少量完全失败任务会大幅拉低 80% 时间视野 — tobyordoxford · 2026-11-09