AI Agent 上线后，如何评估真实对话质量？

Over_Economics7893 · reddit · 2026-08-25

在 Agent 实际面对大量用户后的生产环境中，开发者面临诸多评估难题：如何判断答案正确性、是否符合公司政策、是否该升级但未升级、是否依赖了过时信息，以及如何识别重复性错误。现有的自动化评估集往往难以覆盖这些复杂多变的真实对话场景。该帖询问正在运行 Agent 的团队，其生产环境下的 QA 和评估流程具体是如何设计的。