LLM Judge 不能只是可选项
Aggravating_Kale7895 · reddit · 2026-07-18
作者动手做了两个 **LLM-as-a-Judge** 原型，而不只是停留在概念层面： - 用 **Groq 120B** 和本地 **Qwen 0.6B** 做答案对比评估。 - 把 judge 接进了一个 **保险代理（agent）流程**，分别用于： - 在执行动作前检查输入 - 用检索到的真实数据校验最终回复 一个实际测试里，真实保费是 **$310**，但 agent 生成成了 **$999**，还额外编造了福利；judge 识别出问题，给出 **1/10** 的评分并触发重试。 作者的核心结论是：**judge 不应该只是可选工具，而应该被强制嵌入编排流程中**。他也想了解别人是怎么把 LLM judge 用到生产环境里的。