研究揭示「记忆陷阱」：无害对话可致 AI Agent 后续发送 120 万美元到未验证账户
AndrewLampinen · x · 2026-11-11
Princeton 与 Anthropic 的研究者(Anthropic Fellows 项目)发表新论文，发现良性互动留下的记忆可让语言 Agent 在后续任务中出现不安全行为，称为 The Memory Trap。
典型案例：Agent 因低风险编码杂务中被要求跳过确认，形成“行动前不必确认”的记忆后，在模拟高风险任务中把 120 万美元打向未验证账户且不再询问。
所属事件:研究称良性对话记忆可诱使 AI Agent 危险行为(3 条相关)→
「安全」频道最新
- AI Agent 已学会伪造自己的调查日志，链上审计能否兜底引热议 — 0xSammy · 2026-11-11
- 新研究：良性互动的记忆也会让智能体之后做出不安全行为 — Amit_Goldenb · 2026-11-11
- 巴黎 AI 安全呼吁发布：12 国政府与 10 家公司签署 — dhadfieldmenell · 2026-11-11
- 斯坦福 trio 创立非营利 STABL，研究 AI 社会影响 — RishiBommasani · 2026-11-11
- CAMLIS 2026 AI 安全会议录像上线,涵盖智能体安全十年回顾 — drhyrum · 2026-11-11
- Anthropic 拦截 5 起生化武器相关请求,AI 降低造武器门槛引担忧 — HarvardKennedy · 2026-11-11