单靠 NLI 校验 Agent 记忆会误杀 5/6 新事实,加一道相似度门槛全部纠正
Alternative_Pin9598 · reddit · 2026-10-26
开发者分享一次 Agent 记忆写入校验的踩坑复盘:多个写入方(聊天、CRM 同步、爬虫、其他 agent)共享记忆时,需要在新事实入库前判断它是冲突、已知还是新知识。
失败的第一版
用本地小模型 DeBERTa-v3-small(CPU,无 API 调用)对每条新事实与全部已有记忆做 NLI(自然语言推理)对比,结果 6 条中误杀 5 条——包括两条真正的新事实(参加网络研讨会、学大提琴)。原因:NLI 是句子对模型,遇到两句无关的话也常给出高置信「矛盾」,学大提琴甚至与客户职业「矛盾」到 1.000。
修复:先按相似度门控
真实冲突对的 embedding 余弦相似度落在 0.50–0.74,假冲突都在 0.41 以下,于是只在相似度 > 0.45 的记忆对上跑 NLI。改后 6 条全部正确分类:3 条 CONFLICT(并指出与哪条记忆冲突)、1 条 ALREADYKNOWN、2 条 NEW。作者给出了完整的 SQL 查询实现。
注意事项
- 余量很窄(0.41 vs 0.50),0.45 阈值来自这批数据,需在自己的记忆上调参;
- 冲突不等于错误:101 可能是用户真实偏好变更,104 是爬虫与 CRM 打架,应按写入方信任度路由(用户第一手信息覆盖、低信任写入方拒绝、同信任冲突留人工);
- 校验保证的是一致性而非真实性,存量记忆本身错了会把正确新事实误标;
- 记忆要保持简短。
「编程与Agent」频道最新
- 旧金山 Code Engineering 大会聚焦从编码 agent 到软件工厂 — LangChain · 2026-10-27
- 用 Claude Code 当 iPhone 取证器:挖出「已删」照片的 30 天隐藏副本 — alex_verem · 2026-10-27
- 用 Claude Code 审计 iPhone 备份，揪出被删照片的全部藏身处 — alex_verem · 2026-10-27
- Yuchen Jin：手机不是移动 IDE，而是 agent 舰队的控制台 — Yuchenj_UW · 2026-10-27
- FrontierCS 2 登陆 Kaggle：48 项任务让智能体复现 13 领域论文贡献 — MeganRisdal · 2026-10-27
- 别只让 AI 复刻老游戏：工程师呼吁用 Agent 造更野的软件 — rschu · 2026-10-27