牛津哲学家谈 AI 能力评测误差棒扩大之谜

牛津哲学家 Toby Ord 近日讨论 METR 报告中 AI 能力评测误差棒近年显著扩大的问题,并给出两点解释:一是缺乏足够难的 benchmark,现有基准难以拉开模型间差距;二是缺少能力相近的其他模型来校准基准难度。由于误差棒过大,即便 1 倍加速这样的结果仍在置信区间内,认为 AI 研究提速的证据并不充分。

2026-11-06 ~ 2026-11-06 · 2 条相关

事件全程(共 12 集)→

• 第 1 集:Anthropic 称或将「即将」触及 AI 加速研发 RSP 阈值(2026-11-03,7 条)
• 第 2 集:AI 2027 作者警告：Anthropic 若触发 2x 加速阈值或大幅提前超级智能时间线(2026-11-05,2 条)
• 第 3 集:METR 首份内部数据评估：AI 已将 Anthropic 研发提速约 2 倍(2026-11-06,65 条)
• 第 4 集:曝 Anthropic 内部模型已全面超越 Mythos 5(2026-11-06,2 条)
• 第 5 集:METR 评估报告遭 Anthropic 大幅删节引透明度争议(2026-11-06,11 条)
• 第 6 集:传 Anthropic 新模型已完成训练，METR 私测称史上最大跳变(2026-11-06,2 条)
• 第 7 集:爆料称 Anthropic 近 8 个前沿模型中 7 个从未公开评测(2026-11-06,2 条)
• 第 8 集:METR 称 Anthropic 取消算力评估试点引安全研究者质疑(2026-11-06,2 条)
• 第 9 集:安全圈抨击 Anthropic 加速战略，担忧社会反应跟不上(2026-11-06,2 条)
• 第 10 集:Anthropic 联创开号回应 METR 评估，暗示将公布内部加速报告(2026-11-06,2 条)
• 第 11 集:牛津学者 Toby Ord 质疑 METR 加速估计：纳入跳升后仅 1.4 倍(2026-11-06,9 条)
• 第 12 集:牛津哲学家谈 AI 能力评测误差棒扩大之谜(2026-11-06,2 条)

• 误差棒过大:1 倍加速仍在置信区间内,AI 研究提速证据不足 — tobyordoxford · 2026-11-06
• Toby Ord 谈 METR 报告：基准误差棒为何近年显著变大 — tobyordoxford · 2026-11-06