博主弃用自建 Elo 榜转投 ECI，自建 Glicko-2 榜仍称 Gemini 2.5 Pro 居首

scaling01 · x · 2026-10-28

评测博主 scaling01 回归并分享其模型能力排行榜的最新做法：在手工清洗数据后，他弃用了此前的“平均缩放分”，改用 Glicko-2 评分系统（初始 rating 1500、RD 350、volatility 0.06、τ=0.5），并把模型上榜门槛从至少出现在 5 个 benchmark 提高到 10 个以增强稳定性，榜单标注各模型 95% 置信下界与出场次数，结论是 Gemini 2.5 Pro 仍是榜首。

他还回顾了 Epoch AI 一年前推出 ECI（Epoch Capabilities Index）时的抉择：因认可其 IRT 方法的优越性而停更自己的 Elo 榜，虽考虑过采纳该方法，但觉得不够新颖而未动手。