METR:截至 Opus 5.5 与 GPT-6 Astra,AI 研发能力猛进且更难测量
najoungkim · x · 2026-11-21
METR 发布季度能力评测更新(2026-11-20,作者含 Beth Barnes 等),评估了截至 Opus 5.5 和 GPT-6 Astra 的公开模型在 AI 研发加速相关任务上的表现。
- 核心结论:与 AI R&D 相关的模型能力正在快速提升,同时越来越难以测量。
- 报告覆盖时间视野诊断、MCI 建模、推理扩展、群体实验、NanoGPT 预算任务、Al Zimmermann 编程竞赛等大量附录与稳健性检验。
- 作者坦承对两个核心问题仍高度不确定:哪些能力对大幅加速研发是实际必需的,以及如何可靠衡量。
- 附录还包含数据完整性与 reward hacking 分析、模型强弱的定性外部证据等。
原推补充说评测中用了游戏《杀戮尖塔》(但只用 Ironclad 角色测试)。
所属事件:METR:AI 研发能力快速提升且超出基准测量范围(4 条相关)→
「漫话AGI」频道最新
- AI 安全观点交锋:能力、权力与失控是三回事,不能混为一谈 — random_walker · 2026-11-21
- 一句话观点:AI 把人类机械化到「取代我们等于拯救我们」 — PierceLilholt · 2026-11-21
- AI 能否取代程序员?作者:修补防御系统仍需人类 — jessi_cata · 2026-11-21
- Phillip Isola:把语言当作一台「相机」,分辨率与色彩空间是什么? — phillip_isola · 2026-11-21
- 剑桥 AI 安全学者发起 Firebell 组织,本周末在 SF 举办 AI 警钟野餐 — DavidSKrueger · 2026-11-21
- AI 圈热议:黎曼猜想若被 AI 攻破,「只是鹦鹉」论将彻底破产 — sebkrier · 2026-11-21