METR 数据显示基准分数加速 1.9 倍，但结论对测量方式高度敏感

jessi_cata · x · 2026-11-06

jessicata 引用 METR 风格的 AECI 聚合基准分析并附图讨论其稳健性：纳入 Anthropic 内部模型后，截至 2026 年 10 月，基准分数增速约为 2025 年 10 月之前的 1.9 倍（95% 置信区间 1.5×–2.8×），趋势线斜率从每年 +15 跳到 +29。但她强调该效应在统计上很敏感——「大多数」测量方式得到的倍数不到 1.8×。被引用的 Beth May Barnes 补充称论文附录中有详细讨论，解释为何内部口径（AECI）与公开 ECI 估计存在差异，涉及基准难度与构成假设；作者也提醒若 Anthropic 历史进展异常偏低，该拟合可能高估加速幅度。整体是一场关于「AI 进展是否真在加速、还是测量口径造成假象」的严谨技术讨论。