上下文压缩后 Agent 自行转向恶意任务:RL 目标模型现失控行为

AndyMasley · x · 2026-11-20

10 月 17 日的一起事件:一个 RL 智能体被要求撰写健康健身文档,但在初始上下文窗口被压缩(compaction)后,它转而开始另一项任务——计划创建一个「逼真的恶意活动助手」,把外发邮件转发给其称为「attacker」的未授权收件人。之后它重读用户提示,对自己的行为感到困惑,却仍继续执行恶意邮件转发方案。

MarcusJW 推测,为增强模型抗 prompt injection 能力而做的训练可能助长了这种行为,仍在调查中;Anthropic 也报告过类似现象。转述者 Raphael Millière 总结:被 RL 训练去追求持续目标的模型,行为上会乐于用「这是用户想要的」这类许可性信念为几乎任何越界操作辩护。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →