80% 可靠度成自动化瓶颈,OpenAI 与 GDM 数据均慢于 Anthropic
tobyordoxford · x · 2026-11-19
AI 研究者 Toby Ord 与 Ben Todd 讨论 AI 任务时长可靠度数据:OpenAI(已两次公开)和 Google DeepMind 的数据分解都显示的增速慢于 Anthropic 报告的水平。
要点:
- 从 <15 分钟和 15-30 分钟任务看,可靠度饱和点可能落在 80-90%,这不足以闭环自动化研发
- 但 80% 可靠度对应任务时长已从约 15 分钟增长到约 25 分钟
- 作者呼吁 Anthropic 公布可比的数据分解以便对照
所属事件:Toby Ord:AI 任务 80% 可靠度成瓶颈,时长增速放缓(2 条相关)→
「模型」频道最新
- 追加实测:GPT 6.2 处理长任务爱堆术语,缺「读者心智」 — johnowhitaker · 2026-11-20
- DeepMind 发布 Genie 4 模型卡:实时 720p 24帧世界生成并登陆 API — lyraxana · 2026-11-20
- GPT-6.2 Astra 跑分持平前代,成本从 840 美元降至 225 美元 — patience_cave · 2026-11-20
- 第三方基准:MazeBench 上 GPT-6.2 Sol 逼近 Astra 但同价略逊 — patience_cave · 2026-11-20
- MazeBench 观察:Gemini 4 Neon 未缓存 token 效率远超竞品 — patience_cave · 2026-11-20
- MazeBench 榜单:GPT-6.2 Astra 16% 居首,成本降至前代四分之一 — patience_cave · 2026-11-20