OpenAI 内部任务 p80/p50 时间地平线之比高达 15 倍,远超 METR 的 4 倍

BasilHalperin · x · 2026-11-09

BasilHalperin 指出一个反常发现:METR 数据中 50% 时间地平线约为 80% 的 4 倍,而 OpenAI 内部数据中 80% 时间地平线反而是 50% 的约 15 倍(配图 Weibull 拟合显示 H80/H50 比值在 2.7%-8.7% 间波动,Weibull 形状参数 k 为 0.31-0.46)。

作者还注意到,若按「高上下文」人类为基线,METR 论文报告时间地平线就不再能有效预测 AI 能力——高/低上下文比值可能在任务间差异很大或呈系统性变化,这一点尚难以解释。

所属事件:OpenAI 内部数据 80% 时间地平线仅 15 分钟但翻倍极快,结论高度依赖拟合方法(20 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →