独立开发者造 agent 验证层 Kavdren:对照政策与证据查幻觉

Few-Ad-1358 · reddit · 2026-11-22

作者在做一个独立验证层 Kavdren,针对 agent 进入真实业务流程后的一个痛点:agent 能给出很有说服力的回答,却与公司实际政策矛盾或依赖过时信息。

他举的例子是:客户问能否退款,AI 自信地批准,但现行退款政策并不允许,直到客户投诉才被发现。常见做法是改 prompt、检索管线或模型,而他主张在放行前独立验证响应——对照已批准的政策与来源证据,识别冲突或过时证据,并保留可审计的验证决策记录。他强调这不是宣称回答普遍为真,而是检查回答是否被企业授权的证据与政策支持。

他向生产环境部署 agent 的工程师提问:目前如何检测政策违规、过时检索上下文或无依据的断言?用 LLM-as-judge、确定性校验还是人工审核?

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →