METR 报告:AI 研发能力快速逼近 Opus 5.5 与 GPT-6,测量愈发困难
CFGeek · x · 2026-11-21
METR 发布 2026 年四季度能力评测更新,覆盖至 Opus 5.5 和 GPT-6 Astra,结论是:与 AI 研发加速相关的模型能力正在快速提升,且越来越难以测量。
要点:
- 报告由 Megan Kinniment、Beth Barnes 等 METR 团队完成,基于其长时间任务(MCI)评测体系与 IRT 建模方法。
- 附录 H 专门对比了近期 Anthropic 和 OpenAI 自己发布的加速预测结果,可交叉验证各家口径。
- 附录还涉及推理扩展、Swarm 实验性实验、NanoGPT 预算任务、Zimmermann 编程竞赛等多个评测维度,并讨论了数据完整性与 reward hacking 问题。
- 团队强调对核心问题仍有显著不确定性:(1) 实际引发研发急剧加速需要哪些能力;(2) 当前测量方法的局限。
这是评估 AI 自主研发加速(AI R&D acceleration)风险的重要时间序列数据来源。
「漫话AGI」频道最新
- Arcfront 扩招:把医院工厂真实决策记录做成前沿模型训练数据 — testingcatalog · 2026-11-21
- 黎曼猜想被 AI 攻克,Yudkowsky 的三十年「金丝雀」预警成真 — nabeelqu · 2026-11-21
- Vishal Sikka 长文:Levent 借 Claude 证明黎曼假设震撼数学界 — vsikka · 2026-11-21
- 追了很久的推友竟是AI:伪造账号已难辨真伪,死互联网论成真? — Alternative-Beach693 · 2026-11-21
- Tamay 以 2:1 赔率押注 RH 两年内不会被解决 — panickssery · 2026-11-21
- 前特斯拉 AI 负责人预测:2027 年前实验室不再需要新聘预训练研究员 — jasondeanlee · 2026-11-21