销售 agent 幻觉一个月,真凶竟是 cookie 弹窗和过期缓存页
MantisReka · reddit · 2026-10-02
作者为公司销售团队搭建了一个调研 agent:抓取目标公司官网、读新闻、判断是否值得联系。之后约一个月里它持续产出错误结论——错误定价、一年前就停产的产品,甚至称一家 7 月刚裁员 50% 的公司「在积极招聘」。
团队先后换过两次模型、改了几十版系统提示词,加上反思循环甚至双重反思循环,笔记越来越长、越来越自信,但依旧全错,一度让 agent 自查的成本超过人工调研。真正的转机是作者开始记录工具返回的原始数据:模型一直表现正常,问题在于它把 cookie 横幅、过期缓存页面和空的 React 路由当成真实内容——遇到空字符串时它会编一个合理答案继续往下走。
修复方案出奇地简单:网络搜索迁移到 contextdev(只在页面变更时缓存,解决旧招聘页问题),文档部分同样处理;再在所有工具输出进入模型前做完整性检查——空响应、超过一周的旧页面、疑似登录页都会显式告知 agent。这一改动只花了约 3 小时,效果超过一个月的提示词调试。作者最后向社区提问:这类 sanity check 应该放在工具层做过滤,还是寄希望于模型自己应对垃圾数据?
「编程与Agent」频道最新
- Greg Mushen 的智能体首次卡壳:触发安全机制需人工代发 — gregmushen · 2026-10-02
- HumanLayer 预告新项目:打造面向 AI 时代的软件锻造厂 — zeeg · 2026-10-02
- Karpathy 分享四招理解 LLM 输出:从受控写作到定制讲解视频 — karpathy · 2026-10-02
- CSS 锚点定位实现磁吸 Bento 卡片悬停效果 — jh3yy · 2026-10-02
- Agent 为何难以越用越聪明:改进信号与错误发生在不同位置 — blaizedsouza · 2026-10-02
- pmndrs 作者发布 AI 驱动 CAD:Agent 写代码并验证出模型 — burhop · 2026-10-02