用重复运行和Judge稳住LLM评测
mattjcoles · reddit · 2026-07-14
这篇文章讨论了如何更稳地测试 LLM 输出。作者指出，即使温度设为 0，不同运行也可能给出不同答案，因为推理栈并不是 batch-invariant，且在托管 API 上你也无法控制 batch size。 他的做法是： - 不用单次结果，而是多次重复运行，统计通过率 - 用 structured outputs 降低格式漂移 - 对其余部分使用经过校准的 judge 做评估 重点是把“看起来对”的一次性演示，变成更接近真实稳定性的测试流程。