1200 例客服评测:逐 trace 打分漏掉跨会话自相矛盾的退款承诺

JitteryWorkman · reddit · 2026-10-24

作者在 1200 例客服 agent 评测中发现盲区：960 例单 trace、240 例跨多个 trace；38 例多 trace 案例中，3 条关联 trace 各自通过了现有政策打分器，却做出了互相冲突的退款承诺——因为轨迹打分独立评估每次运行，先前的承诺不在判断上下文里，人工复核同一 case 每轮看到的退款金额都不同。

作者正在 Braintrust 测试按 caseid 分组的会话级打分：每行数据最多 64 条 trace 供一致性打分器合并上下文判断，把矛盾案例沉淀为回归数据集，并在发布前用 case 级结果做 CI 质量门。悬而未决的问题：当一个工单被重开或再次转接时，分组边界划在哪里。