LLM 自评分数会虚高
ExpertDeep3431 · reddit · 2026-07-16
作者分享了一个关于 **LLM 自评分数偏高** 的评测案例：同一家模型家族给自己的文本压缩管线打出 96%，但换成不同家族、不同提供方的独立评审后，得分只有 78.4%。 为了避免事后“挑结果”，作者在复测前就把假设、通过线和“无论结果如何都公开”的规则写进 `PREREG.md`。他还引入了一个 **确定性的底线指标**：只看锚点事实是否被精确保留，例如数字、日期、hex id、文件名等。这个底线跑出来是 90.48%，95% 置信区间为 [86.90, 94.05]，虽然低于原先的理想值，但仍在预注册的可接受范围内。 帖子还强调： - 同家族自评分会系统性抬高分数，是测量缺陷，不只是提示词问题 - 预先注册评测标准和公开规则很重要 - 每个 LLM 评测指标都应该配一个 **确定性 floor** 作者同时提供了可一秒内复现的 `grep` 脚本和 GitHub 仓库链接。