研究者警告:训练数据不明时,任何公开榜单成绩都没意义

Michael_D_Moor · x · 2026-10-01

AI 研究者 Michael Moor 提出:如果不清楚模型训练了什么数据,在任何基准上报告的测试集成绩都几乎没有意义——模型可能部分训练在用来评测它的基准甚至测试集上。他提醒大家:每次新模型发布、众人因跑分沸腾时,要记住 benchmaxxing 已让所有非隐藏基准难以被信任,榜单成绩通常不是值得兴奋的理由,也能看出谁在应用科学严谨性、谁在做 PR。

所属事件:AI 基准分数屡遭质疑:评测可信度引热议(3 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →