自动化 Eval 能完全替代人工？研究揭示 87% 召回与盲区

HamelHusain · x · 2026-08-18

Parlance Labs 发布研究，探讨自动化评估是否有效。团队将 100 条生产环境 traces 的人工标注结果与 Braintrust、Arize、LangSmith 等自动化系统进行对比。结果显示，表现最好的系统召回了人类标注的 87% 失败点，且所有系统都发现了人类遗漏的问题。然而，完全自动化的方法始终无法捕捉那些“看似正确”但用户体验不佳的交互。研究结论是：自动化工具虽能辅助，但无法完全脱离人类在评估循环中的角色，需结合领域专家判断与确定性 evaluator。