OpenAI 内部数据:32 小时级 agent 任务成功者超八成需人工介入
DataLearnerAI · reddit · 2026-09-07
「6 小时成功的 agent 任务」不等于 6 小时自主工作
作者整理了 OpenAI 内部研究报告《Research acceleration: The view inside OpenAI》的图表数据:OpenAI 研究员将真实编码任务委派给 agent,按人类完成该任务所需时长分组,统计成功率与人工介入情况。作者补充计算了「成功任务中至少需要一次人工介入」的比例:
| 人类任务时长 | 成功率 | 成功中需介入比例 |
|---|---|---|
| <15 分钟 | 94% | 8.5% |
| 1–2 小时 | 90% | 32.2% |
| 4–8 小时 | 88% | 51.1% |
| 16–32 小时 | 82% | 72.0% |
| 32–64 小时 | 76% | 82.9% |
| 64–128 小时 | 67% | 76.1% |
核心发现:成功率在相当长时间内保持较高,但「成功」的性质随任务时长急剧变化——4–8 小时任务中过半的成功运行仍需人工介入,32–64 小时任务超过 80%。
作者观点:
- 说 agent 能完成「32 小时任务」≠ 能自主工作 32 小时。
- 长时程 agent 评估不应只报告任务成功率,还应报告「能持续取得有用进展多久才需要人接管」,建议指标:task horizon × success rate × intervention rate。
- 与 METR 的任务时程基准相比,这是来自真实内部研究工作流的数据,更有参考价值。
所属事件:OpenAI 披露内部 AI 加速研究数据,人均日烧 600 美元 token(9 条相关)→
「编程与Agent」频道最新
- 安全专家:让 AI 智能体按 NIST CSF 搭知识库做应急响应 — prasanna_says · 2026-10-26
- Google Cloud Knowledge Catalog 新增自学习上下文充实,为 agent 自动补全企业知识 — rseroter · 2026-10-26
- Cloudflare 推出支出上限功能早期预览,Workers 与 Durable Objects 先行 — ritakozlov · 2026-10-26
- Shopify 设计负责人谈 AI 时代工作流:设计师正变成全栈编辑 — KlausCodes · 2026-10-26
- Nace AI 推出 Drex for Search:让 Agent 精准翻页读云端文件 — testingcatalog · 2026-10-26
- Ultrametric 开源 Open Startup Repo:让 AI Agent 自动运营创业公司 — garrytan · 2026-10-26