METR 时间跨度换高上下文基线后骤降 10 倍，信号还剩多少
BasilHalperin · x · 2026-11-09
Basil Halperin 指出 METR 论文（Kwa et al.）的一个细节：时间跨度是以「低上下文」人类为基线测量的；若改用「高上下文」人类基线，时间跨度数值约低 10 倍。他据此提出两点困惑：
- 高低上下文的时间跨度比值需要在任务间大幅或系统性变化，才会彻底摧毁该指标的预测力，这有些意外；
- 时间跨度衡量的是 AI 能力，但从经济自动化角度看，真正相关的是高上下文能力而非低上下文能力。
他坦承需要进一步思考，并欢迎讨论。
所属事件:OpenAI 内部数据 80% 时间地平线仅 15 分钟但翻倍极快，结论高度依赖拟合方法(20 条相关)→
「漫话AGI」频道最新
- 宫崎骏：只学动画的年轻创作者只是在原地空转 — threepointone · 2026-11-09
- 未来三年工程头衔大裁、客户侧岗位身价十倍？ — kylegawley · 2026-11-09
- ryolu_ 上海演讲：当 AI 能做一切,我们还知道自己想要什么吗 — ryolu_ · 2026-11-09
- 澳洲两月裁员超 10.8 万人，或创疫情以来新高，AI 压力被点名 — gaganghotra_ · 2026-11-09
- 研究称 OpenAI 数据中生产力增益正随时间下降 — austinc3301 · 2026-11-09
- Ramez 分析:OpenAI 内部数据中每 ECI 点生产力增益正随时间下降 — ramez · 2026-11-09