LLM 评测不可靠？新框架提升 30% 人类一致性

dair_ai · x · 2026-08-30

构建 LLM 评判员（LLM-as-a-Judge）具有挑战性。新研究提出了一个基于真人对话的参考基准，包含 3 万余轮专家生成的回合和 3.6 万条人类标注。结果显示，面对专家级判断时，经典的自动指标和无参考的 LLM 评判方法都显得不可靠。研究者提出的「混合评判员」框架通过组合多种评估信号，将与人类评估的相关性提升了约 30%。