客服机器人承诺免费维修,自托管 RAG 翻车后团队复盘防线

CommonMinimum587 · reddit · 2026-10-18

一家公司把客服机器人迁到自托管模型 + RAG 后运行数月,上周机器人把延保文档与用户实际无有的保单混搭,向客户承诺免费维修,因有截图只得兑现(参照 2024 年加航聊天bot败诉案)。作者指出日志中回答流利且切题,问题在于检索到了错误的 chunk。复盘分两件事:一是记录每次回答旁的检索 chunk 以便溯源(Langfuse、Arize Phoenix);二是在发送前对答案做守栏校验,阻止检索证据不支持的开销/退款类表述,候选方案为 Orq AI 的 on-prem 评估器守栏或 Nemo Guardrails 自写检查。作者仍在权衡出口守栏与人工读 transcript 的捕捉率。