换模型后变差还是采样噪声?作者用统计检验+开源工具 Assay 解决 eval 挥发

Professional-Run3614 · reddit · 2026-10-13

做法律文档处理时,作者发现本地模型/量化版本对比中测试时过时不过,难以判断是真实回归还是随机波动。他的做法:每个用例在两版上多次运行,比较通过率并做多重比较校正——8/8→7/8 大概率是噪声,8/8→4/8 证据不足继续跑,8/8→0/8 基本可判定回归。两个关键发现:有时是 LLM judge 本身不稳定而非模型(让 judge 对同一答案评多次可识别);超时和 judge 报错不应计入失败,要单独跟踪。他将其开源为 Assay:pytest --assay --repeat 8 即可运行,支持 OpenAI 兼容端点在内的多家提供商。