OpenAI 模型真实 AI 研发任务时距仅为 METR 基准的 1/12

tobyordoxford · x · 2026-10-22

Oxford 学者 Toby Ord 讨论一个反差数据:2025 年 1–7 月 OpenAI 模型在真实世界 AI 研发任务上的平均时距(time horizon)只有 METR 任务套件的约 1/12,相当于比主流快速指数趋势落后约 3.6 个翻倍、约 14 个月。

他随后补充:这可以由真实 AI 研发任务组合比 METR 任务更难来解释——METR 图表显示各任务套件的时距趋势不同,OpenAI 的数字大致与其中 RLBench 的趋势线一致。该讨论触及「基准时距能否外推到真实工作」这一关键问题。