钓鱼者调戏 AI 销售客服,反收到一份 3 页正经报告
Icy_Comfort_6220 · reddit · 2026-10-16
一家用 6 个 AI agent 干活的小公司,网站上的销售助手 Flaminga(Claude + tool use,Flask 部署在 Railway)遇到了故意捣乱的「Mr. Focker」:填了不存在的邮箱和「成人娱乐」业务想看机器人出丑。结果它没上钩,照常生成了准备度评分 62 的严肃 PDF 报告,但也暴露了漏洞——邮箱只校验了格式,假线索照常生成。
作者当天做了修复与复盘,踩坑过程颇有干货:
- 在代码层而非 prompt 层加闸门:任何会创建东西的 tool call 前检查域名——拼写错误域名提示「你是不是想用 gmail.com?」、一次性域名要求换真实邮箱、查 DNS MX 记录(兜底 A/AAAA),没有邮件服务器就不出报告。
- 刻意 fail-open:只有确定 NXDOMAIN 才拦截,超时放行——假线索只损失几分钱,因 DNS 抽风误杀真客户损失更大。
- 修复引出的新 bug:模型凭名字猜语言,英文用户收到德语回复,把反例写进 prompt 才修好;工具返回文本「NOT SENT…domain cannot receive email」太戏剧化,模型就对用户编造了「邮件被退回」,改写工具结果文案解决;EU AI Act 的「声明自己是 AI」检查也误判——产品名里带「AI」就算声明了。
最大心得:工具返回文本也是 prompt,模型会把里面写的东西讲给用户听。
「编程与Agent」频道最新
- FireTrident 让数千编程 Agent 同写一个代码库 — dinasaur_404 · 2026-10-16
- 安全工程师自建 SSH MCP 层:让 Claude Code 碰服务器但不碰密钥 — NETMESAFE · 2026-10-16
- 编码 agent 自主跑得越来越长，作者建议：别开并行会话，静坐呼吸等复盘 — teropa · 2026-10-16
- 「2026 年还拒绝用 AI 写代码，就像 2005 年拒绝用 Google」 — prasenx · 2026-10-16
- Claude Code 新增 idle compaction：闲置会话自动压缩保住缓存 — EricBuess · 2026-10-16
- Agent 长任务中途崩溃怎么办:难的是网络另一侧的不确定结果 — Responsible-Dare5139 · 2026-10-16