Agent 答错不怪模型:数据脏才是主因,用 20-30 个真实问题做审计
SUPERSAIIYANNN · reddit · 2026-10-20
作者指出团队落地 agent 的共同困境:demo 能跑通,一旦接触真实公司数据就「自信地答错」。常见根源包括:同一客户在 CRM、计费、客服系统里存在三条记录;「营收」在各系统定义不一致;agent 能读到不该读的数据、却够不到需要的数据;答案无法溯源导致没人敢信。作者认为「数据成熟度评分」并不能预测 agent 能否答对「本季度哪些客户要续约且逾期付款」这类问题,提出更直接的检验方法:挑 20-30 个团队真实会问的问题,对着只读数据样本跑一遍,逐条标注答对、答错或拒答,修好暴露的问题后,再给 agent 提供带日志、带权限范围的 MCP 访问。
「编程与Agent」频道最新
- 百款App老手复盘:首个AI应用别一口气生成,逐流程搭建 — PrajwalTomar_ · 2026-10-20
- 没人再读代码了,你的Agent该用什么语言写? — fhinkel · 2026-10-20
- 扫描 6309 个 Agent Skill 市场:七成携带提权能力,59% 低报 — metanoai · 2026-10-20
- 消融实验显示领域区分设计可贡献最多 3.7 分 agent 性能 — morgymcg · 2026-10-20
- 两人一年发布 3 款产品,累计 3.6 万用户与真实收入 — cneuralnetwork · 2026-10-20
- Narayanan:构建 eval 就是构建 agent 本身,人类精力将转向评估 — random_walker · 2026-10-20