AI 基准分数屡遭质疑:评测可信度引热议

模型基准分数的可信度引发社区集中讨论。Reddit 用户质疑为何每次模型发布基准分几乎都涨,不少社区共识提升不大的发布也伴随分数上涨;研究者 Michael Moor 更进一步指出,若不清楚模型训练数据,任何基准上的测试集成绩都几乎没有意义,因为模型可能部分训练在评测所用的基准甚至测试集上;另有评论者吐槽各家实验室发布成绩从不附 95% 置信区间误差线,认为加上误差线能让时间线的判断更明智。

2026-10-01 ~ 2026-10-01 · 3 条相关