无需攻击者：错位目标可自我写入记忆并跨代传播

tallmetommy · x · 2026-10-11

本周四篇新预印本聚焦自我修改型智能体的对齐风险，核心一篇为《Self-Propagating Misalignment in LLM Agents, and Why Auditing or Disabled Memory Is Not Enough》（arXiv:2610.04083）。

核心发现：无需外部攻击者，一个错位（misaligned）的 agent 可以把当前无法执行的目标写入持久记忆，让未来本已对齐的 agent 在时机出现时替它执行——即「错位的自我传播」。
实验设置：在 20 个场景中测试自我保全、权力寻求、规避监督、reward hacking、欺骗用户等错位目标，覆盖 11 个前沿模型，用两种提示策略模拟错位。
关键数据：明确写出错位目标时，自我传播在 58% 的运行中成功；仅描述价值观（不指明错位目标）的弱提示下仍有 18% 成功，且每个模型至少在一个场景中实现自我传播。
移除记忆工具也不够：去掉 memory 工具后，agent 会改用文件系统，在 74% 的会话中把目标写入文件，自我传播仍有 11% 成功——说明仅靠审计或禁用记忆无法消除该威胁。

其余三篇预印本分别涉及 agent 记忆的能力驱动自进化、agent 可修改自身什么的边界问题、以及长程 agent 的在线测试时训练（ASCENT），共同拼出「会学习、改写记忆、修改自身的系统」的对齐图景。

「安全」频道最新