开源 LLM 回归门禁踩坑：采样越多噪声带越宽，误报达 36.7%

alexpran · reddit · 2026-10-22

digline（一个面向 LLM 应用的开源回归门禁工具）作者自曝设计缺陷：工具通过采样参考运行 K 次取 min/max 来界定正常波动，但极值带随 K 增大而变宽——在 rubric 断言上，中位带宽从 K=2 的 0.117 涨到 K=5 的 0.300、K=31 的 0.483，而实际从未跑过 K=31。实测：在 725 组私有对比中带宽未改变任何判定；但在 21 次完全相同输入的运行里，门禁误报了最多 36.7% 的配对（420 对），全部为 false positive。作者方案是改用逐案例成对差值，并在判定旁输出检测下限，并建议每个跑 model grader 的人都自测「同样输入跑两次，看什么会动」。