给账本埋雷测 agent
Speedydooo · reddit · 2026-07-15
作者用一整个月的“假账本”测试自己的 AI agents：先造出看起来真实的发票、付款、流失曲线，再故意埋入 6 个错误，包括重复发票、未更新的费率、缺少审批的阈值、看似正常但实际亏损的客户分群、只在流失月才暴露的收入漏损，以及一笔未获批准的付款。 结果上，agents **无提示地抓到了 6 个中的 5 个**；漏掉的那个并不是数学问题，而是作者给评分逻辑漏写的一条 sign-off 规则，且有两个 agent 反过来先指出了这个评分口径缺口。 更重要的是它们的“拒答”表现： - 有的 agent 在缺少必要数字时拒绝判断企业是否偿付得起。 - 有的拒绝在没有真实支出数据时乱估 CAC。 - 有的在输入定义含糊时，不直接算，而是先追问口径。 作者还发现自己答案钥匙里有两处错误：一处是数学笔误，一处是业务规则写错了；这些都因为 agent 的输出与答案不一致而被迫复查出来。 整个实验成本约 **5.5 美元**、耗时不到 **30 分钟**。作者的结论是：比起“答对”，知道什么时候该说“信息不足”更有用。