真实踩坑实录：语音Agent上线五周翻车，Prompt护栏为何全线失效
Dustersvk · reddit · 2026-08-01
一家清洁公司的语音/文本预订Agent上线五周，处理真实订单时遭遇多次昂贵失败。作者总结出核心教训：系统提示词中的规则在压力下会被模型绕过，只有服务器端的硬编码校验才是真正的护栏。
主要翻车案例与修复方案：
- 占位符绕过：模型用 "not provided" 填充必填项（姓名/电话）绕过前端检查。修复：服务器端设置占位符黑名单和完整性校验门。
- 正则过滤失效：过滤黑名单使用 \w 正则，未能匹配斯洛伐克语中的带音标字符。修复：匹配前进行 NFD 规范化并去除变音符号。
- 上下错乱：模型将自身输出的公司号码误认为客户提供的号码；或从邮箱前缀臆造客户姓名。修复：增加针对性逻辑拦截。
- 计算漏洞：模型根据面积计算出的价格低于最低上门费。修复：所有数字在输出或记录前强制经过底价校验。
- 幻觉确认：未调用工具就向客户口头确认预订。修复：必须等工具返回成功信息后才可向客户确认。
- 通道混淆：为 TTS 语音拼写的数字指令，在文本聊天界面中被直接输出为英文单词。
- 评测环境脱节：文本模拟测试中表现完美的模型，在真实语音运行时因工具调用路径不同而频繁失效。
作者强调，每次事故后，必须用引发问题的原始输入去复测，而不是用相似数据想当然。
「编程与Agent」频道最新
- 用数学模式与 Gemini 智能体在 Antigravity CLI 里作曲的玩法实验 — fofrAI · 2026-10-16
- 去掉框架手写 Agent 循环：LangGraph 到底帮你做了什么 — m3m3o · 2026-10-16
- 博主称免费版用户已严重低估 10 个月来 AI Agent 的进步 — realmeetjames · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- 腾讯混元开源 Hy Memory 2.0:模型+框架+MemHub 三件套管 Agent 记忆 — TencentHunyuan · 2026-10-16
- ERP•AI 推出按机器计费的企业软件:0 美元席位, $1 可跑 4000 次记录写入 — rohanpaul_ai · 2026-10-16