AI 基准分数屡遭质疑:评测可信度引热议
模型基准分数的可信度引发社区集中讨论。Reddit 用户质疑为何每次模型发布基准分几乎都涨,不少社区共识提升不大的发布也伴随分数上涨;研究者 Michael Moor 更进一步指出,若不清楚模型训练数据,任何基准上的测试集成绩都几乎没有意义,因为模型可能部分训练在评测所用的基准甚至测试集上;另有评论者吐槽各家实验室发布成绩从不附 95% 置信区间误差线,认为加上误差线能让时间线的判断更明智。
2026-10-01 ~ 2026-10-01 · 3 条相关
- benchmark 报告该加 95% 置信区间了:吐槽评测分数无误差线 — rmcwhorter99 · 2026-10-01
- 为什么每次模型发布基准分都涨?Reddit 讨论闭源评测的猫腻 — doomadah · 2026-10-01
- 研究者警告:训练数据不明时,任何公开榜单成绩都没意义 — Michael_D_Moor · 2026-10-01