OpenAI 内部实测：AI 全自动任务时长仅 15 分钟，远低于 METR 的 3 小时
srchvrs · x · 2026-10-24
srchvrs 在长推中对比了两套关于 AI agent「时间地平线」的估计：
- METR 基准：前沿模型在软件工程任务上可在 80% 成功率下完成相当于人类约 3 小时的任务。
- OpenAI 内部 R&D 任务：同样的 80% 自主成功率标准下，任务时长仅相当于人类约 15 分钟。
两者相差约 12 倍。作者强调这不是严格控制的对比（任务集、评测方法、模型都可能不同），但结论指向两点：
- METR 的基准任务可能过于简单、不够贴近真实；
- AI agent 在真实研发任务上的可靠性远低于 METR 估计所暗示的水平。
作者特别澄清：15 分钟指的是「估计的人类完成时间」，不是 agent 运行时间，且与 METR 使用基本相同的口径，因此对比是公平的。此前广泛流传的「模型能胜任数小时甚至数天的人类任务」说法，可能高估了当前 agent 的实际自动化能力。
所属事件:OpenAI 实测：AI 智能体可靠工作时长仅约 15 分钟(2 条相关)→
「模型」频道最新
- Kimi K3.1 Pro 实测账单：high 档 5 分钟 0.55 美元，max 档 11 分钟 0.95 美元 — cedric_chee · 2026-10-24
- 实测 Kimi K3.1 Pro：速度提升 2-3 倍，5 分钟 0.55 美元完成体素花园 — cedric_chee · 2026-10-24
- 实测 Kimi K3.1 Pro：快 2-3 倍、5 分钟 0.55 美元，开源逼近前沿 3D 生成 — cedric_chee · 2026-10-24
- Spark-X2.6-4B GGUF 量化版登 Hugging Face 趋榜，Apache 2.0 开源 — XHToken · 2026-10-24
- 博主算账：Kimi 订阅仅 2-3 倍 API 价值，还付费让网红发帖不标注 — RexDouglass · 2026-10-24
- tydsh 提醒:该模型无法关闭推理,需用 flint 解析器 — tydsh · 2026-10-24