生产级 Agent 评估应测试故障重放而非仅看任务成功

percoAi · reddit · 2026-07-08

作者指出，目前大多数 Agent 评估仅测试任务能否成功完成的“快乐路径”，但在生产环境中，更重要的是当运行出错时，操作员能否通过可观测性数据重构故障现场。评估体系需要能回答失败前的状态、外部工具调用、幂等性和恢复策略等问题，将追踪记录转变为可用于恢复的实体。