OpenAI 内部任务 p80/p50 时间地平线之比高达 15 倍,远超 METR 的 4 倍
BasilHalperin · x · 2026-11-09
BasilHalperin 指出一个反常发现:METR 数据中 50% 时间地平线约为 80% 的 4 倍,而 OpenAI 内部数据中 80% 时间地平线反而是 50% 的约 15 倍(配图 Weibull 拟合显示 H80/H50 比值在 2.7%-8.7% 间波动,Weibull 形状参数 k 为 0.31-0.46)。
作者还注意到,若按「高上下文」人类为基线,METR 论文报告时间地平线就不再能有效预测 AI 能力——高/低上下文比值可能在任务间差异很大或呈系统性变化,这一点尚难以解释。
所属事件:OpenAI 内部数据 80% 时间地平线仅 15 分钟但翻倍极快,结论高度依赖拟合方法(20 条相关)→
「模型」频道最新
- AA Decision Index v2 发布:私人数据集占45%,校准能力计入总分 — ArtificialAnlys · 2026-11-09
- GLM-4.5 开源 48 小时登顶 Hugging Face,海外公司纷纷接入 — ccerrato147 · 2026-11-09
- 有人问:史上有没有明显不如前代的 LLM 发布? — adonis_singh · 2026-11-09
- 多位 CEO 称 Google Argon 写作能力出众,或成 AI 黑马 — danshipper · 2026-11-09
- Epoch AI 新增 ECI 分数:推算 Gemini 3 Pro 时距达 4.9 小时 — CFGeek · 2026-11-09
- 安全研究者列开放权重模型三大低门槛滥用路径:内鬼、小众工具、社工 — matthew_d_green · 2026-11-09