AI 圈吐槽：百样本不到 5% 提升的刷榜评测该停停了

xeophon · x · 2026-08-03

开发者 @xeophon 在 X 上发文，猛烈吐槽当前 AI 模型评测中的统计乱象。他抱怨称，如果再看到时间线上出现那种测试样本不到 100 个、平均分提升还不到 5% 的模型跑分成绩（benchmark avg@1），他可能就要抓狂了。

这反映了 AI 社区对当前模型刷榜现象的普遍不满：许多新模型或方法在极小样本规模下取得微弱的统计学提升，就大肆宣传为重大突破，这种做法实际上缺乏统计学意义和实用价值。