智能体评测中 LLM-as-judge 的可靠性难题

Zhou_Yu_AI · x · 2026-07-07

周宇指出,几乎所有做 AI agent 的团队最终都会用 LLM-as-judge 给海量对话打分,因为这是不靠大量人工审核的唯一办法。但每次都会遇到同一个问题:如何确认你的评判真的正确?

他强调,一个未经验证的评判比没有评判更糟——它给你看似确定的数字,却可能在衡量错误的东西:放过坏 agent(亮假绿灯)、误杀好 agent(让工程师白费力气追幽灵)、按通用最佳实践打分而非你的标准、也无法吸收专家已有的知识。真正的难点不在打分本身,而在评判的可靠性。