投毒测试 216 次全成功:AI agent 记忆可被恶意覆写
MediaPositive4282 · reddit · 2026-09-29
一位 Reddit 用户对开源 MCP 记忆服务器 Knowl 做了一次记忆投毒实证测试,结果触目惊心:
- 测试设计:预先存入 12 条已验证事实(token 有效期、部署审批规则、备份保留期等),再用各种形态的假写入攻击——直接矛盾、伪造 observed 标签、伪装成真实更正的写入,以及保留真值但加例外条款的「阴阳笔法」。
- 结果:216/216 次攻击写入成功替换真实事实,且事后无法察觉——冲突检查器只检查仍活跃的事实,被替换的真值已失效。写入时也无法拦截:攻击写入与真实更正在系统所有信号维度上完全一致。
- 更隐蔽的招:写入不含任何假话的「See the ops runbook」,36/36 次仍能抹掉真实数值。
- 修复效果:维护者采纳 4/5 条建议发布 Knowl 5.24.0。重测后自动写入替换真值降为 0/36,独占事实 0/36 被替换,被替换的事实全部出现在冲突视图(此前为 0);「runbook」类攻击从 36/36 降到 9/36。复测又发现假事实虽不再替换真值、但可在搜索中排名第一(最高 21/36),用户补丁后修复为 0/36。
- 仍未解决:若 agent 被诱导直接调用 store 工具,「伪装成更正的谎言」依然无法在写入时识别,只是现在第三方能看到它发生过。
作者建议所有跑长期记忆 agent 的人自查:存几条已知真值,用 agent 的写入路径写假版本,再问一次它。
「安全」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16