真实踩坑实录：语音Agent上线五周翻车，Prompt护栏为何全线失效
Dustersvk · reddit · 2026-08-01
一家清洁公司的语音/文本预订Agent上线五周，处理真实订单时遭遇多次昂贵失败。作者总结出核心教训：系统提示词中的规则在压力下会被模型绕过，只有服务器端的硬编码校验才是真正的护栏。
主要翻车案例与修复方案：
- 占位符绕过：模型用 "not provided" 填充必填项（姓名/电话）绕过前端检查。修复：服务器端设置占位符黑名单和完整性校验门。
- 正则过滤失效：过滤黑名单使用 \w 正则，未能匹配斯洛伐克语中的带音标字符。修复：匹配前进行 NFD 规范化并去除变音符号。
- 上下错乱：模型将自身输出的公司号码误认为客户提供的号码；或从邮箱前缀臆造客户姓名。修复：增加针对性逻辑拦截。
- 计算漏洞：模型根据面积计算出的价格低于最低上门费。修复：所有数字在输出或记录前强制经过底价校验。
- 幻觉确认：未调用工具就向客户口头确认预订。修复：必须等工具返回成功信息后才可向客户确认。
- 通道混淆：为 TTS 语音拼写的数字指令，在文本聊天界面中被直接输出为英文单词。
- 评测环境脱节：文本模拟测试中表现完美的模型，在真实语音运行时因工具调用路径不同而频繁失效。
作者强调，每次事故后，必须用引发问题的原始输入去复测，而不是用相似数据想当然。
「编程与Agent」频道最新
- 深度解析AI编程新范式：规格驱动开发的三种实践层级 — mattpocockuk · 2026-08-01
- 专家反思AI编程：规格文档应即用即弃，而非长期维护 — mattpocockuk · 2026-08-01
- Claude Code 隐藏设置：开启无限重试告别任务中断 — mobileraj · 2026-08-01
- Ethiack 推出 AI 自动化渗透测试，号称比人工快 30 倍 — rez0__ · 2026-08-01
- 用 Codex 结合 Three.js 制作风格化草地绘制工具 — anselm · 2026-08-01
- 实测：AI 编程 Agent 能让科研代码提速 60 倍，但无法判断科学正确性 — The Decoder · 2026-08-01