「基准黑客」疑云:实验室自报 SWE-bench 分数平均高于独立复现 4-5 分

RexDouglass · x · 2026-11-18

SolomonMg 提出「benchmark hacking」(类似 p-hacking)的概念:实验室用略微不同的设置测试多个模型版本,只发布最好的分数,把噪声包装成信号。验证方法是:在最受关注的基准上,实验室自报分数应系统性高于第三方独立运行——SWE-bench Verified 上正是如此,实验室自报分数比 Epoch AI 和 SWE-bench 团队的独立复现平均高 4-5 点。配图逐模型列出差距,如 Claude Opus 4.7(Epoch +4.1)、GPT-5.2(Epoch +6.2,mini +7.2)、Kimi K2.6(Epoch +3.5)、Gemini 3 Pro(Epoch +3.3,mini +6.6)、GLM-5(Epoch +5.7)等,个别差距极大(Qwen3.6-Plus 为 Epoch +20.9)。作者也指出,各家用独立的 harness 和设置可能解释了大部分差距,未必全是刻意操控。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →