METR 加速指数引争论: slope 变化对方法选择高度敏感
CFGeek · x · 2026-11-21
METR 发布基于其指数的趋势变化分析,指出结论从「轻微减速」到「中度加速」不等,取决于方法论选择;数据仅覆盖截至 9 月的公开模型,与 Anthropic 的「AECI 2 倍加速」结果不可直接比较。作者提示附录 H 有与 Anthropic、OpenAI 近期加速结果的对比:使用类似校准与拟合模型时,MCI 的斜率变化与 METR 2026 年 10 月 AI R&D 加速报告大体相当,但通常低于 Anthropic 系统卡片和该报告的数值;对 IRT 模型做线性拟合对校准模型、断点和基准选择都很敏感。在覆盖至 Opus 5.5 和 GPT-6 Astra 的公开模型上,Anthropic 系模型内部观察到正斜率变化,OpenAI 系则没有,尽管两家最强模型能力水平相近。
「研究」频道最新
- 新评测用《杀戮尖塔》测 AI:Najoung Kim 吐槽只测了铁甲战士 — najoungkim · 2026-11-21
- Transformer 分不清指令与观察,研究者称这掏空了真正 Agent 的根基 — gerardsans · 2026-11-21
- 黎曼猜想证明作者发声:这是人类的想法,我会坚持到底 — Singularitarian · 2026-11-21
- DPP 选择机制续解:为何三个快速排序反而得分低 — xtimv · 2026-11-21
- 用行列式点过程让 LLM 采样既各自优质又彼此多样 — xtimv · 2026-11-21
- 作者用深度 RL 跑「证据累积塔」任务,复现多项啮齿类行为特征 — neuroecology · 2026-11-21