OpenAI 模型任务时长基准仅为 METR 趋势的十二分之一,落后约 14 个月
tobyordoxford · x · 2026-10-22
牛津研究员 Toby Ord 指出,按 METR 的 80% 成功率任务时长(horizon)基准,OpenAI 模型 1-7 月平均表现仅约为原有指数趋势的十二分之一,差距相当于约 3.6 次倍增或 14 个月的快速进步。
背景:该基准衡量 AI 能以 80% 成功率完成的人类耗时任务长度;METR 自 2024 年起报告该指标,到 2026 年 4 月停止报告时,80% horizon 已达 3 小时。
所属事件:牛津学者:OpenAI 真实研发时距仅为 METR 基准的 1/12(6 条相关)→
「模型」频道最新
- Socher 公司发布首个模型 Flint:MacBook 上 125 token/秒的本地编码模型 — ying11231 · 2026-10-22
- 一个研究员3.5个月、千万美元内从零预训练大模型,Agent写了99%代码 — RobertTLange · 2026-10-22
- NVIDIA Nemotron 演示上线 — mervenoyann · 2026-10-22
- vLLM Day-0 支持 Flint:单卡 GB200 跑出 500 TPS — _rockt · 2026-10-22
- WIRED 实测 Recursive Flint:递归自我改进造出的模型「吓人地好」 — cong_ml · 2026-10-22
- 开发者吐槽 Argon 模型:没让它做的事它也自己加了 — andrew_n_carr · 2026-10-22