AI 能力缺统一标尺:sebkrier 逐项拆解基准分数、Elo、ECI、METR 时间视界的缺陷
sebkrier · x · 2026-11-10
sebkrier 指出,要判断 AI 轨迹需要一个「+1 永远代表同等进步幅度」的 y 轴,而我们现有的所有度量都只是不完美的代理指标,研究者心里清楚,但这层含义常在公共讨论中丢失。
配图逐项拆解各主流度量的缺陷:
- 基准分数:一小步分数可能是能力的巨跃或毫无意义,6/10 vs 4/10 不等于数学能力强 50%。
- Elo:能给出真实胜率轴,但无法外推到「战胜他人」之外的能力增量。
- Epoch 能力指数(ECI):类比 IQ,区间由建模假设决定;且基准分数与模型强内生相关,2024 年 ECI 与 METR 时间视界的同步加速可能只是共同的测量伪影而非相互印证。
- Log-loss/预测:类似反应时间,对能力是非线性的。
- METR 时间视界:约等于 10^(k×总分),本质是人类任务完成度心理测量学;若时间视界对能力是线性的,Opus 4.5→4.6 的进步将大于从创世到 Opus 4.5。
「漫话AGI」频道最新
- NTU 等 10 校发布个人智能综述:119 系统盘点并开源 HALO — liuziwei7 · 2026-11-10
- 外科播客三部曲收官:从风险模型到手术室里的 Agentic AI — Laparoscopes · 2026-11-10
- Richard Socher：AI 攻克生物的瓶颈不是复杂度，是数据 — RichardSocher · 2026-11-10
- 陶哲轩 UCLA 演讲「Math 2.0」：AI 时代数学如何转型 — burny_tech · 2026-11-10
- 3.7万个AI智能体组成虚拟药企，发现潜在肺癌药物 — burny_tech · 2026-11-10
- Goertzel 对谈 Friston：为什么光靠更强的语言模型到不了 AGI — bengoertzel · 2026-11-10