开发者开源工具 NoiseCheck 揭露模型评测统计学假象

Formal-King3851 · reddit · 2026-08-16

作者构建了一个 CLI 工具 noisecheck 用于判断模型评估的改进是真实的还是统计噪声。通过对 DeepSeek 和 GLM 等模型的实测，工具揭示了“领先 2.7 分”在统计上可能毫无意义，甚至出现了扩大样本量后胜负反转的情况。实验还显示，同一模型在相同参数下多次跑分，波动范围可达 ±2.9 分，这往往超过了不同模型间的微小差异。

该工具包含集群感知重采样、裁判一致性检查（GPT-4 与人类专家 Kappa 值仅 0.15）以及功效分析等功能，旨在作为 CI 门禁防止基于虚假数据的发布。代码已开源。