研究给出 LLM 评判者有效性阈值：一致性须达中等以上

LLM 作为评判者需要多高的可靠性才值得使用？研究人员通过大规模模拟测试发现，当 LLM Judge 的一致性低于"中度同意"时，使用它得不偿失、效果无效；而当一致性达到"实质性"水平时，则能带来 1.5 倍以上的收益。这一结论为实践中判断何时可信赖 LLM 评判器提供了量化标准。

2026-08-19 ~ 2026-08-19 · 2 条相关

• LLM 评测阈值研究：低于中度一致则无效 — IanArawjo · 2026-08-19
• 研究揭示 LLM 评判阈值：一致性低于“中等”则无价值 — IanArawjo · 2026-08-19