Agent 答错不怪模型:数据脏才是主因,用 20-30 个真实问题做审计

SUPERSAIIYANNN · reddit · 2026-10-20

作者指出团队落地 agent 的共同困境:demo 能跑通,一旦接触真实公司数据就「自信地答错」。常见根源包括:同一客户在 CRM、计费、客服系统里存在三条记录;「营收」在各系统定义不一致;agent 能读到不该读的数据、却够不到需要的数据;答案无法溯源导致没人敢信。作者认为「数据成熟度评分」并不能预测 agent 能否答对「本季度哪些客户要续约且逾期付款」这类问题,提出更直接的检验方法:挑 20-30 个团队真实会问的问题,对着只读数据样本跑一遍,逐条标注答对、答错或拒答,修好暴露的问题后,再给 agent 提供带日志、带权限范围的 MCP 访问。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →