Anthropic S-1 称 Claude 开放式工程任务成功率 9 个月从 40% 升至 90%

trevposts · x · 2026-11-09

引用帖关注 Anthropic S-1 文件中一个被忽视的数据：Claude 在解决开放式、需判断力的工程任务上的表现，9 个月内从 40% 提升到 90%。作者认为若属实，这一进展比 METR 报告的 2x 加速更重要，并质疑该基准的构建方式。

链接正文是 Tom Reed 的《The Goodhart Singularity》，核心论点：自动化 AI 研发并不足以带来超级智能。业界默认叙事认为 AI 自动化研发将引发能力指数增长、很快出现全域超级智能（Altman、Jack Clark、AI-2027、Ajeya Cotra 等观点），但 Reed 不同意。「可验证领域（编程/AI 研究）的进展能否迁移到模糊的开放式任务」正是 Goodhart 奇点观的关键争点，与 S-1 数据直接相关。