Epoch AI 改用贝叶斯模型重估 ECI：可算模型孰强概率

scaling01 · x · 2026-11-05

Epoch AI 将其模型能力指数 ECI（Epoch Capabilities Index）的统计方法从频率学派升级为贝叶斯模型，主要动机是给出更有依据的不确定性估计，并直接计算「模型 A 比模型 B 更强的概率」。要点：

方法论：ECI 基于教育测量中的项目反应理论（IRT），将模型的 benchmark 得分视为答对比例，使用四参数 logistic 模型，基准的上下限固定、只学习难度与斜率。
噪声建模：旧方法假设所有 benchmark 共享同一噪声（残差标准差 0.076）；新方法为 59 个基准各拟合独立噪声，范围从 0.038（METR Time Horizons）到 0.176（VPCT），相差四倍以上。噪声在 0% 和 100% 附近收缩，误差带不再包含不可能得分。
结果：GPT-4 以上的前沿模型得分平均变动小于 1 个 ECI 点，排名基本稳定。

scaling01 评价：旧方法用 bootstrapping 得置信区间，新方法给出每个模型 ECI 的概率分布，可以自然地提出「A 比 B 强的可能性有多大」这类问题。

「模型」频道最新