幻觉检测器最大坑:"幻觉"根本不是一个类别——分区法替代布尔判定
Top-Shopping539 · reddit · 2026-09-13
Unifunl 的 AI 工程师复盘客服订单 agent 幻觉检测器的迭代:第一版用正则匹配"确认话术 + 无 createorder 调用"来抓幻觉,结果大部分告警都是误报——既有订单引用、条件句式("一旦你发地址就确认")、还有否定式为环缀的方言让肯定模式总被误命中。两个独立问题混在一个复合指标里,让每次讨论数字都变成争论。
真正的修复是把布尔输出改成五分区,依次问两件事:回复是否断言订单存在?工具证据是否支持?
- noclaim / valid / validstatusref:没人有错
- claimedbutfailed / phantom:agent 问题,归 prompt 负责人
- 落错桶:检测器 bug,归作者自己
最有价值的是 claimedbutfailed:工具被调了但返回错误,agent 仍然确认——对客户等同造假,却被 happy-path 条件隐藏数月。
两条超性价比经验:验证标识符而非措辞——从回复提取订单号,要求它出现在同会话的真实工具结果里,比任何词法规则都强,还免费消除已有订单的误报;警惕嵌套指标里被"正常"悄悄吸收的谓词,每个评估器都有等效盲区。仪表盘全程看着正常,才是最该警惕的。
「编程与Agent」频道最新
- 赏金猎人Bot来袭:每小时扫描开源赏金自动领任务 — gleech · 2026-09-13
- 用户实测 Cognition SWE-2:编码能力扎实,缺电脑操作是短板 — CtrlAltDwayne · 2026-09-13
- 3D 生成实测心得:重技巧一次成型,胜过反复改来改去 — chaseleantj · 2026-09-13
- AI 无法一次出成品:实测靠人工判断迭代再花 17 分钟融合两版 — chaseleantj · 2026-09-13
- 3D 生成进阶技巧:生成一张参考图让模型对着迭代 — chaseleantj · 2026-09-13
- 实测:用 skill 生成 3D 场景,token 从 6.8 万涨到 15.3 万,叶片逼真度大增 — chaseleantj · 2026-09-13