611 组对比实测:AI 实验室自报跑分平均比第三方高 6.4%

jakecoolguy · reddit · 2026-10-19

开发者基于开源榜单 whatmodel.sh 分析了 1629 条公开基准成绩,匹配出 180 个模型在 103 个基准上的 611 组「实验室自报 vs 独立测试」对比,发现同一模型同一测试下,实验室自报分数平均高出 6.4%:375 组实验室更高,216 组独立测试更高,20 组持平。

差距最大的基准是 SWE-bench Verified 和 MBPP(中位数均 +9.0,SWE-bench 上 92% 的对比是实验室分更高),AIME 2024、GSM8K 等也普遍偏高;而 MMLU、Winogrande、ARC Challenge 等则基本无差距甚至略低。数据集以 CC BY-SA 4.0、代码以 MIT 开源,来源与许可证均记录在案。