METR 更新「时间视界」图:模型在判断型任务上仍不敌人类
MIT Tech Review AI · rss · 2026-11-21
MIT Tech Review 报道 METR 对其著名的「时间视界」图的重大更新,揭示可验证能力与判断力之间的鸿沟。
背景与更新
- 原图显示前沿模型可完成任务的「人类用时长度」每 4 个月翻倍,但因度量复杂被广泛误读。
- 新版加入耗时更长、更开放式的任务,尤其是需要判断力的任务。
关键发现
- 可验证任务(编码、数学)持续指数级改进,这源于 RL「成功强化/失败削弱」的训练机制。
- 但在判断型任务上模型明显落后:让模型设计新 AI 评测,没有一个模型的作品被 METR 员认为可用于研究——尽管最新模型(如 Opus 5.5)已从一年前的「明显不达标」进步到「边缘达标」;给哲学论证打分的任务同样不及人类。
- 这类任务正是 AI 自动化研发的核心,专家(如 Sayash Kapoor)认为「研究品味」可能是自动化研发的主要瓶颈;OpenAI 同日博客也承认模型在真实任务上不如可验证任务。
方法局限
- 长时任务的人类完成时间多为估计而非实测;哲学论证任务多由单人评分,可能影响结论。
- 专家欢迎评测创新,但对能否外推趋势持保留态度。
背景
- 此前 METR 被高度删节的报告称 AI 或将 Anthropic 的能力进展速度加快约一倍,引发对递归自我改进的担忧。
「漫话AGI」频道最新
- 用 Claude 写《文明》同人短篇:作者坦言「一眼就是 AI 写的」 — NathanpmYoung · 2026-11-22
- 当造出一个生命比养活它还便宜,AI 生物技术将带来什么 — PierceLilholt · 2026-11-22
- 研究者质疑:AI 科学突破用的是闭源模型,成果会否只惠及少数精英 — GeorgiaChal · 2026-11-22
- 反直觉观点:LLM 或是天才突破「界面壁垒」的放大器 — 2a_lib · 2026-11-22
- 仿 Collison Fast 页面收录 41 个 AI 加速成就案例 — JosephJacks_ · 2026-11-22
- 律师:AI 过了法考也难上庭,出庭辩护仍需真人主导 — TinfoilTricorn · 2026-11-22