健身房聊天机器人向会员承诺免费停卡,团队分享幻觉防护实战

Fit_Satisfaction541 · reddit · 2026-11-19

Reddit 帖:一家健身房的客服聊天机器人编造了从未提供的“免费暂停会员三个月”政策,会员把截图发到小镇 Facebook 群,酿成真实客诉。

团队随后在 Orq.ai 上搭建了护栏式评估器,每条回答都对照会员条款检查,不通过的答案转人工处理而非直接发给会员,并在旧对话记录上先做了离线测试。

痛点是评估器阈值难调:

楼主提出的思路是只检查“答应某事”的回答——因为目前所有编造政策都以 yes 开头——并征求其他团队的幻觉拦截经验。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →