LLM评测失灵导致线上回归
larabyeol · reddit · 2026-07-11
作者分享了一个真实案例：团队在 11 月开始做 **LLM 自动化评测**，用 GPT-4o 作为 judge，对每次部署做 8 维评分。 一开始效果不错，能捕捉到一些明显回归；但后来一次系统提示词调整把某个边缘场景改坏了，judge 仍然给了 8.7/10，于是上线后约 3% 用户受影响。问题直到第二天看工单才发现。 复盘后，作者认为主要原因有两点： - **judge 提示词和业务提示词没有统一版本管理**，judge 自己也发生了 drift。 - 即便版本管理做得更好，**自动化 judge 仍然很难抓住细微质量回归**，这可能是方法层面的局限，而不只是工具问题。 文中还提到，他们后来把两者放进同一个版本化系统里，至少能让 drift 在发布前变得可见。