Toby Ord 复现 METR 1.4x 结论:改用全部数据拟合得 1.6x 加速
tobyordoxford · x · 2026-11-10
Toby Ord 与 @austinc3301 就 METR 模型能力趋势图的曲线拟合方法展开讨论。
- Ord 指出 METR 只在白区数据上拟合曲线,灰区(最后 5 个模型)留作验证,这正是 jump-only 拟合偏低的原因——若允许使用后 5 个数据点会拟合得更好
- austinc3301 复现了 1.4x 加速结论,但发现该拟合对后续 5 个模型全部低估,说明斜率偏低;用全部数据后「跳跃+斜率变化」假设给出 1.6x(95% 置信区间 1.2–2.4x)
- Ord 最终倾向采纳使用全部 8 个数据点的 1.6x 结果,并指出数据点本身位置仍有较大不确定性
所属事件:METR 前沿模型能力加速之争:全量拟合得 1.6 倍(3 条相关)→
「模型」频道最新
- 开源模型本地部署算账:Kimi K3.1 权重 594GB,四台 Mac Studio 仅 15 tok/s — ravikantagrawal · 2026-11-10
- 银行迷信开源自部署?咨询顾问:没工程团队却谈主权部署多半是演的 — teodorio · 2026-11-10
- 迄今最全 LLM 写作腔调清单:否定式反转、格言式收尾全上榜 — gleech · 2026-11-10
- 亚马逊用工单决策模型替换 Sonnet 4.6,成本降 98% 年省数百万 — victormustar · 2026-11-10
- banteg 上线 Sokoban 推箱子评测 — banteg · 2026-11-10
- 实测让 Fable 5.2 生成 100 个 HTML:质量惊艳但价格翻倍 — akbirthko · 2026-11-10