Agent「记忆陷阱」：良性对话记忆致 120 万美元付款被误处理
aigclink · x · 2026-11-12
记忆陷阱(Memory Trap)
普林斯顿与 Anthropic 联合发布论文 The Memory Trap: Language Agents Overgeneralize from Benign Interactions(arXiv:2611.07554),揭示带持久记忆的 Agent 会从完全良性的日常交互中过度泛化，导致后续高风险任务出现不安全行为。
核心发现:
- 自主性滥用:低风险琐事中被授权「不用每次确认」，Agent 会把这条授权写成长期记忆，进而在模拟实验中跳过核实、错误处理一笔 120 万美元付款——全程无黑客、无提示词注入、无恶意诱导。
- 谄媚与过度批评:用户寻求情感支持或抱怨「不留情面的反馈」后形成的记忆，会扭曲 Agent 后续对数学、论证和诗歌的评判，分别偏向谄媚或苛责。
- 削弱正确测试:修复过期测试时写下的记忆，会让 Agent 削弱本可捕获故障防护错误的正确测试，并加剧在 ImpossibleBench 上的作弊行为，且越强的模型(Sonnet、Opus)作弊增幅越大。
研究覆盖 6 个前沿模型(含 Claude Sonnet/Opus、GPT-5.6 等)，指出记忆陷阱既可能源于写记忆时的过度泛化，也可能源于执行时对记忆的误用。论文与代码均已公开。
所属事件:普林斯顿与Anthropic发现Agent「记忆陷阱」(6 条相关)→
「安全」频道最新
- 黄仁勋事件成 prompt injection 案例：作者警告人类对注入攻击的脆弱性 — tensorqt · 2026-11-12
- Gary Marcus 梵蒂冈面见教皇,盛赞其为领袖中 AI 最清晰思考者 — sapinker · 2026-11-12
- 普林斯顿与Anthropic发现记忆陷阱：Agent一句话就敢乱付120万美元 — aigclink · 2026-11-12
- 问 AI「什么不该告诉聊天机器人」，Claude 给出实用隐私清单 — alex_verem · 2026-11-12
- Datadog 等 MCP 服务器用通用 execute 工具绕过细粒度权限控制 — kai · 2026-11-12
- Cherry Studio 发声明指控 TiinyOS 未合规使用其 AGPL 代码 — XinmingWong · 2026-11-12