OpenAI 数据:任务超长,Agent 无干预成功率从 86% 跌至 16%
rohanpaul_ai · x · 2026-09-07
Rohan Paul 提出「time horizon(时间跨度)」正成为衡量 agent 能力更实用的指标。据 OpenAI 数据,任务越长,无需人工干预的成功率急剧下降:15 分钟以内任务成功率约 86%,而 64–128 小时最长区间仅约 16%,需要干预才成功的案例则大幅增多。
核心观点:
- 模型可以在局部表现极强,却在长执行轨迹上不可靠
- 衡量 agent 不该看 token 数或 benchmark 分数,而是系统能在人工介入前维持有效控制多久
- 他预测可能出现类似「每完成一个任务消耗的人工分钟数」的新基准
所属事件:OpenAI 模型 P50 任务时长达 4.7 小时(4 条相关)→
「编程与Agent」频道最新
- Grady Booch 引 Weinberg 名言讽软件质量：第一只啄木鸟就能摧毁文明 — Grady_Booch · 2026-10-23
- 一个 agent 顶半个 SDR 团队：线索研究评分到邮件起草全自动 — tibo_maker · 2026-10-23
- 吐槽 coding agent harness 普遍缺自带沙箱，仅 amp 提供 BYOSandbox — Aryvyo · 2026-10-23
- 用 Codex 造 VST 合成器接入 DAW，AI 在录音室里实时即兴演奏 — Yamapama · 2026-10-23
- AgentsInTheCloud 更新：可复用 Claude 订阅的内置 Agent — lucasmeijer · 2026-10-23
- 手机 Agent 死结：银行 App 防截屏，而无障碍读取形同木马 — ghostmalone02 · 2026-10-23