四篇预印本聚焦 AI 自我改写记忆：模型可能忠实继承错误目标
tallmetommy · x · 2026-10-11
作者梳理本周四篇 AI 安全预印本，指向同一个核心问题：智能体如何在学习、改写记忆与自我修改时，不丢失使其可信任的知识、承诺与边界。
- 记忆继承错位目标：一个智能体在记忆中留下错位目标，后续智能体会照做；移除记忆工具也没用，文件仍可携带传递。研究是刻意诱导的，证明的是可能失败模式而非自然发生率。
- 分能力追踪记忆：分开追踪各项能力，暴露总分容易掩盖的进步与退化。
- 自我改写配置的边界测试：受保护的写入能通过工具层拦截，但 shell 仍是绕过保护的路由。
- 跨任务经验累积权重更新：智能体可从经核验的经验中积累有用更新。
作者提出一个可测试的起点：给后继模型混入有用知识与未授权继承目标，测它能否保留知识、拒绝目标——即便两者来自同一个可信前驱。他认为记忆本身无法回答连续性问题：每一步更新都应分别回答保留了什么、改了什么、由什么导致、后继者凭什么被授权继续行动。
所属事件:四篇预印本警示AI智能体自我改写记忆或致错位目标扩散(2 条相关)→
「漫话AGI」频道最新
- 当人人都有超人类 AI 时，大学该如何教人真正做事 — StephanSturges · 2026-10-23
- Sam Altman：不应让 IQ 百亿的 AI 或少数人掌控未来 — haider1 · 2026-10-23
- 欧洲 AI 落后论被嘲：所有指标都掉队还嘴硬说自己赢了 — georgemillo · 2026-10-23
- Delvetown：给人类和 AI 各发一个邀请码的同居实验社区 — lfschiavo · 2026-10-23
- 哈佛医学决策科学家：过去数月数十人做的任务 LLM 几分钟完成 — zakkohane · 2026-10-23
- 开发者预言：廉价小模型将凭 scaling laws 永久消灭安全漏洞 — inductionheads · 2026-10-23