METR 时间地平线用低上下文人类作基线，高上下文者快约 10 倍
BasilHalperin · x · 2026-11-09
BasilHalperin 讨论 OpenAI 内部时间地平线水平偏低的可能解释：METR 的测量采用的是「低上下文」基线者（不熟悉相关工作的普通人）完成任务所需时间，论文附录估计熟悉工作的 repo maintainer 比基线者快约 10 倍（配图表格显示实际为 5-18.6 倍）。
如果以高上下文人类为基线，AI 的时间地平线数值会低约 10 倍，这或许能解释 OpenAI 数据中时间地平线绝对值偏低的现象，但不能完全解释差距。另一假设是这是领域差异——不同任务域的截距本就不同。
所属事件:OpenAI 内部数据 80% 时间地平线仅 15 分钟但翻倍极快，结论高度依赖拟合方法(20 条相关)→
「研究」频道最新
- LoRA 微调 Qwen3 遇诡异 bug:caption 短于 4 token 必丢首行 — prathamdmehta · 2026-11-09
- Ramez 分析:OpenAI 内部数据中每 ECI 点生产力增益正随时间下降 — ramez · 2026-11-09
- 博主判断 Transformer 架构将长期主导，新突破只是渐进改良 — max_paperclips · 2026-11-09
- FragBench 基准论文发布，作者仅附链接未展开细节 — arthurcolle · 2026-11-09
- 经济学家提出 AI 辅助论文评审四步法：专家定夺、AI 找茬 — paulnovosad · 2026-11-09
- CoRL 2026 设「机器人需要世界模型吗」辩论工作坊，黄文龙参与组织 — YunzhuLiYZ · 2026-11-09