研究者统计复核 METR 时间地平线:任务时长真能代理难度吗
wfithian · x · 2026-10-14
Drew Nguyen 与 wfithian 对 METR 著名的「时间地平线」(time horizons)图做统计复核:取图中 228 个软件任务,横轴为人类完成时间、纵轴为 AI 估计难度,检验「人类时长 log-linear 地代理任务难度」这一核心假设是否成立。
作者开发了量化方法来验证该假设,并对未来趋势做了展望。METR 的时间地平线曲线是外界预测 AI 能力增长最常用的论据之一,对其前提假设的统计检验有直接意义。
「研究」频道最新
- 16GB Mac 跑 14 个本地决策模型,实测 Wald 准确率最高 — WolframRvnwlf · 2026-10-14
- NBER 论文:随机审计何时能对齐会隐瞒的 AI Agent — joshgans · 2026-10-14
- 微调 Qwen 实测追踪每步最优学习率,揭示 warmup 的价值 — gautamcgoel · 2026-10-14
- AI 秒解数学难题反成隐患:摧毁人类未来的「垫脚石问题」 — JnBrymn · 2026-10-14
- Anthropic 工程师撰文:如何设计一个高质量的 RL 任务 — BraceSproul · 2026-10-14
- MIT 研究者用开源 Molmo 2 追踪声呐视频中的三文鱼,可用自然语言纠错 — allen_ai · 2026-10-14