METR「AI 提速 1.9 倍」结论激辩：拟合方法与未公开证据受质疑

11 月 8 日，研究者 JacquesThibs 围绕 METR 报告的基准拟合方法连发多条帖文，与 Jeff Ladish、bshlgrs、Toby Ord 等人就 AECI 基准上「AI 任务时间跨度每约 7 个月缩短一半（约 2 倍提速）」的结论展开多轮争论。METR 引用其基准数据称，自 2025 年 10 月以来 Anthropic 模型的 AECI 分数增速为此前的 1.9 倍（95% 置信区间 1.5–2.8），呈现能力加速迹象；Anders Sandberg 转发该评估时表示「不完全相信研究速度翻倍了，但也不是不可能」。但 METR 自己也提醒基准分只是证据之一，分析选择会影响结论。核心争议是该报告是否真正检验并排除了能力「跳变」假说、结论对统计方法的敏感程度，以及是否依赖未公开信息。

已确认

• JacquesThibs 指出，METR 拒绝的假说是「一次性跳变后回归原趋势（跳变后斜率不变）」，这也是 Anthropic 系统卡附录中此前的假说；而 Toby Ord 一方的模型并非回归原趋势，METR 并未检验「跳变+斜率上升」这类混合模型。他质疑报告疑似只在该组合中两者取其一，且未解释拟合为何不覆盖这种组合。
• 他认为报告的拟合分析采用无不连续跳跃的分段线性拟合，等于在构造上就把离散能力跳跃设为零，而非让数据自行估计；并援引 Anthropic 报告称其佐证了 Mythos 的异常大跃升。他还认为无需依赖两组模型间的训练算力差，独立证据已足以支持更大规模预训练会带来能力跃升。
• 关于 2 倍提速数字，他认为在误差范围内可能仍成立，但前提是对 AECI 基准的拟合假设做出不同选择，这意味着 METR 实际上必须比公开内容掌握更多信息。METR 声称出于脱敏原因拒绝了 Toby Ord 的假设。
• bshlgrs 回应称这类推理很微妙：论证「公开证据较弱」本身，出于对研究者的适度信任，会反向暗示被脱敏的证据更强。他还就 2 倍加速估计是否随 AECI 斜率下调（如从 1.9x 降到 1.4x）而变化的质疑作出解释。
• Toby Ord 发布了 METR 相关的敏感性分析：团队对不同的 ECI 计算方式与绘图数据做了检验，配图矩阵显示不同方法论下 2025→2026 年的斜率估计差异巨大（低至 0.99× 等），说明能力增速结论对统计方法高度敏感。他还认为「斜率上升」假设的证据本身偏弱：虽然中心点确实显示斜率上升，但这些点处于现有基准的上限区间，彼此存在相关误差，可能高估了斜率变化。
• Toby Ord 补充其先验判断：大型新预训练应带来水平（level）效应，AI 辅助研发应带来某种斜率（slope）改善，这与他的拟合结果最吻合；但他认为从 AECI 证据中得到的任何更新都非常弱。他还强调 AECI 证据的局限并非 METR 的过失——公开可用的能力评测证据本来就非常有限，这限制了对 AI 进展斜率的可靠推断。
• Karthik Tadepalli 撰写的独立分析将 METR 报告未删节部分与公开数据交叉核对，结果显示公开数据与 METR 对 Anthropic 内部模型「时间加速」的估计基本吻合，配图给出四种口径的能力指数增速。
• Jeff Ladish 认为 Toby Ord 的观点有误，但乐见他为自己的立场辩护；双方就争议焦点进行了多轮追问与回应。

尚未确认

• METR 报告背后是否存在未公开的数据或拟合细节，以及换用不同拟合假设后 2 倍提速结论是否稳健，尚无定论。
• 跳变假说（包括跳变+斜率上升的混合模型）与连续趋势假说哪个更符合数据，双方仍在争论中。

为什么重要

• 这一争议直接关系到「AI 能力随时间提升约 2 倍」这一被广泛引用结论的可信度：若结论依赖特定拟合设定或未公开信息，其外推预测（如未来能力时间线）需要更谨慎对待；Toby Ord 展示的敏感性分析进一步表明，方法论选择可导致斜率估计在 0.99× 到更高倍数之间大幅波动。
• 争论也凸显了基准拟合中模型设定选择的先入为主风险：在构造上排除离散跳变，可能系统性低估能力跃迁的可能性，这对安全评估与趋势预测均有影响。而 Karthik Tadepalli 的交叉验证与 Toby Ord 对公开证据稀缺的说明，分别从「数字可复现」与「证据基础有限」两个侧面为评估该结论提供了参照。

2026-11-08 ~ 2026-11-08 · 15 条相关

事件全程(共 5 集)→

• 第 1 集:METR 新能力曲线引争议,AECI 基准细节遭泄露(2026-11-06,2 条)
• 第 2 集:METR 回应争议：接受条款评估仍胜过厂商自评(2026-11-07,2 条)
• 第 3 集:METR 能力翻倍报告震动安全圈：恐慌与冷静并存(2026-11-07,7 条)
• 第 4 集:METR 评估报告证据删改与利益冲突引安全研究者质疑(2026-11-07,4 条)
• 第 5 集:METR「AI 提速 1.9 倍」结论激辩：拟合方法与未公开证据受质疑(2026-11-08,15 条)

• 研究者质疑 scaling 分析：模型设定离散跳跃为零是否先入为主 — JacquesThibs · 2026-11-08
• METR 测得 Anthropic 模型加速 1.9 倍,Hanson 判为一次性提速 — sebkrier · 2026-11-08
• 围绕 METR 基准拟合争议：1.9 倍斜率提升该不该信 — JacquesThibs · 2026-11-08
• 争论 METR 2 倍提速结论:是否依赖未公开的私有信息 — JacquesThibs · 2026-11-08
• 【源头】METR 报告拒绝的是哪条假设？研究者质疑其推断有误 — JacquesThibs · 2026-11-08
• METR 驳斥的是“跳变后斜率不变”论，未检验混合模型假说 — JacquesThibs · 2026-11-08
• 网友激辩 METR 外推报告：被删证据究竟支持哪种 AI 加速模型 — bshlgrs · 2026-11-08
• METR 争议后续：质疑脱敏证据的论证本身会反向加强它 — bshlgrs · 2026-11-08
• 【源头】质疑 METR 拟合遗漏「跳变+斜率上升」，Anthropic 报告佐证 Mythos 异常大跃升 — JacquesThibs · 2026-11-08
• 独立分析交叉验证 METR 报告：Anthropic 内部模型能力加速约 1.9 倍 — RishiBommasani · 2026-11-08
• Toby Ord 加入激辩:基准上限相关误差让「斜率上升」证据偏弱 — tobyordoxford · 2026-11-08
• 【源头】METR 敏感性分析显示 AI 能力增速结论对统计方法高度敏感 — tobyordoxford · 2026-11-08
• Toby Ord:先验判断预训练带来水平跃升、AI 研发带来斜率改善 — tobyordoxford · 2026-11-08
• Toby Ord:公开证据太少，METR 的局限并非其过失 — tobyordoxford · 2026-11-08
• METR 评估 Anthropic 内部模型：研发加速率升至 1.9 倍 — anderssandberg · 2026-11-08