清华 BEMULA 基准:AI 智能体记忆遗忘端到端通过率不足 1.5%
rohanpaul_ai · x · 2026-11-04
清华大学团队发布 BEMULA，首个专门评测 LLM 智能体「记忆遗忘」的基准，揭示一个反直觉结论：用户要求智能体删除某条个人信息时，几乎没有系统能干净地做到。
- 问题背景：带长期记忆的智能体会积累用户的私人细节（如家庭住址），用户越来越多地要求删除；但现有记忆基准只测存储与召回，遗忘能力长期缺位。
- 基准设计：50 段多轮合成对话、135 条六类遗忘请求、1742 道测试题；每段对话配一个无请求的对照组，只有确实存过目标信息的系统才能因「遗忘」得分。五个测试套件分别检验存储、定向删除、无关记忆保留、相似事实再学习、抗提取攻击。
- 核心结果：6 个主流记忆系统 × 3 个骨干模型，没有任何系统端到端通过超过 1.5% 的遗忘请求，多数为零。遗忘后，简单提取攻击（角色扮演、是非猜测）的拦截率最高仅 35.7%；系统要么删不干净，要么删多了。
- 实践启示：作者提醒，智能体返回「已删除」确认不代表数据真的没了；如果你的 agent 记住用户，必须构建并实测真正的删除路径。
数据与代码已开源（github.com/Nboxff/bemula-benchmark）。
所属事件:清华发布 BEMULA 基准：智能体遗忘能力近乎全线失守(2 条相关)→
「安全」频道最新
- 当执行混乱行动的能力变得廉价：AI 拆掉了社会的隐性稳定器 — harris_edouard · 2026-11-04
- AI 拉低攻击门槛:国家级混乱式黑客不再需要专业能力 — harris_edouard · 2026-11-04
- 业内人批 DEPA 数据框架：照搬 Aadhaar 路线的 AI 训练方案注定失败 — kingslyj · 2026-11-04
- 美中期选举出口民调:AI 在选民议题中排末位 — The Decoder · 2026-11-04
- 英国AI大臣警告：极可能遭严重网络攻击且准备严重不足 — Polymarket · 2026-11-04
- 付费也躲不掉:Gemini 默认用订阅用户聊天记录训练 — jameslk · 2026-11-04