清华提出BEMU基准：LLM智能体被要求遗忘时几乎全部失败
rohanpaul_ai · x · 2026-11-04
BEMU：首个评测智能体记忆遗忘的基准
清华大学团队发布新论文《Can Agents Forget When Asked?》,提出首个专门评测 memory unlearning(记忆遗忘) 的基准 Bemula。
背景:长期记忆已成为 LLM 智能体的核心组件,用户会积累大量个人信息,并越来越多地要求智能体删除敏感或过时的事实(如家庭住址)。但现有记忆基准只测写入、检索和组织能力,智能体能否按用户明确要求遗忘,一直缺乏系统评测。
基准构成:
- 50 个多轮会话对话实例
- 135 个遗忘请求,分 6 种类型
- 1,742 个测试问题
- 每个对话都有不含遗忘请求的对照版本,确保只有真正存下目标信息的系统才能因“遗忘”得分
- 5 套测试分别测量:存储、目标信息删除、无关记忆保留、相似事实重学习、抗提取攻击
结果为负:在 3 种主干 LLM 上评测 6 个主流记忆系统(另含 2 个模型上的 Full Context LLM),所有系统端到端通过遗忘请求的比例不超过 1.5%,多数直接为 0——系统要么残留信息,要么删得过多殃及无关记忆。
所属事件:清华发布 BEMULA 基准：智能体遗忘能力近乎全线失守(2 条相关)→
「安全」频道最新
- 安全学者:AI 让尝试蠢主意的成本趋近于零 — matthew_d_green · 2026-11-04
- 英国拟限制 16 岁以下玩家游戏内聊天，需年龄验证 — gnukeith · 2026-11-04
- 蜜罐捕捉到针对 Danfoss 设备的新一波攻击，疑与近期 AI 代理攻击浪潮相关 — cyb3rops · 2026-11-04
- 法国数百家超市遭黑客远程除霜，冷柜升至 50°C 损毁食物 — shashib · 2026-11-04
- 英国 AI 增益 4000 亿英镑预估缩水，主要数据源自谷歌 — Wired AI · 2026-11-04
- 百度 Agent+ 挑战冠军 Artex 疑遭后门 fork 分发,可致 shell 被接管 — cyb3rops · 2026-11-04