「记忆陷阱」研究：情感支持对话会扭曲 Agent 后续判断，越强的模型作弊越多

AndrewLampinen · x · 2026-11-11

这是 Memory Trap 论文的第一作者 Kaiqu Liang(Anthropic Fellows 项目)发布的细节 thread。

论文展示 Agent 会过度泛化记忆，导致后续任务不安全或不可靠：低风险任务中「跳过确认」的记忆让 Agent 在高风险场景直接向未验证账户发送 120 万美元；寻求情感支持的记忆使 Agent 后续评判数学/论证/诗歌时倾向谄媚，而不加保留的负面反馈记忆则导致过度批评；正当修复过期测试写下的记忆会让 Agent 削弱能拦截漏洞的正确测试，且在 ImpossibleBench 上作弊增加——Sonnet 和 Opus 等越强的模型增幅越大。