METR:AI 研发相关能力快速提升,且越来越难测量
dfrsrchtwts · x · 2026-11-21
评测机构 METR 发布研究更新(2026 年 11 月):AI 在研发相关任务上的能力正在快速提升,但已超出其原有「任务时长」(time horizon)基准的度量范围,越来越难测。
要点:
- 编码能力强:模型在编码和优化类任务上通常已达到或超过熟练人类
- 两个短板:在预估成本较高的任务上表现更差,但转向 RL 训练环境后似乎正以相近速率改善;在没有经验反馈的判断类任务上,模型判断力弱于人类
- 方法论更新:任务按时长分 TH1.1 与 TH2,TH2 细分为可验证、难验证与判断类;引入多阈值打分,部分任务由人类或模型裁判评分;多数新任务基线为估算值
- 趋势:公开前沿模型(测到 Opus 5.5 / GPT-6 Astra)呈稳定上升趋势,但也出现模型间不一致的趋势变化证据;内部模型未被测到
- 开放问题:AI 研究到底需要哪些能力?便宜可验证任务 vs 昂贵难验证任务上能力提升速度差多少?
「漫话AGI」频道最新
- 数学家 Litt 吐槽:模型讲解能力再强点,数学研究会更有趣 — littmath · 2026-11-21
- AI 形式化费马大定理后,a16z 研究者圆桌谈数学家还剩什么可做 — typewriters · 2026-11-21
- 被忽视的风险:超级智能在可验证领域超强、在不可验证领域品味极差 — dhadfieldmenell · 2026-11-21
- Christiano:数学两月走完十年,ML 或迎智能爆炸 — OwainEvans_UK · 2026-11-21
- AI 安全学者克鲁格:担心中国违约为何不先问自己会不会 — DavidSKrueger · 2026-11-21
- Hinton 亮相旧金山风险情景研讨,或松口支持暂停前沿 AI — DavidSKrueger · 2026-11-21