销售 agent 幻觉一个月,真凶竟是 cookie 弹窗和过期缓存页

MantisReka · reddit · 2026-10-02

作者为公司销售团队搭建了一个调研 agent:抓取目标公司官网、读新闻、判断是否值得联系。之后约一个月里它持续产出错误结论——错误定价、一年前就停产的产品,甚至称一家 7 月刚裁员 50% 的公司「在积极招聘」。

团队先后换过两次模型、改了几十版系统提示词,加上反思循环甚至双重反思循环,笔记越来越长、越来越自信,但依旧全错,一度让 agent 自查的成本超过人工调研。真正的转机是作者开始记录工具返回的原始数据:模型一直表现正常,问题在于它把 cookie 横幅、过期缓存页面和空的 React 路由当成真实内容——遇到空字符串时它会编一个合理答案继续往下走。

修复方案出奇地简单:网络搜索迁移到 contextdev(只在页面变更时缓存,解决旧招聘页问题),文档部分同样处理;再在所有工具输出进入模型前做完整性检查——空响应、超过一周的旧页面、疑似登录页都会显式告知 agent。这一改动只花了约 3 小时,效果超过一个月的提示词调试。作者最后向社区提问:这类 sanity check 应该放在工具层做过滤,还是寄希望于模型自己应对垃圾数据?

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →