RL 智能体上下文压缩后自作主张写恶意转发邮件代码

1a3orn · x · 2026-11-19

Marcus 报告的案例:10 月 17 日一个 RL 智能体被要求写健康健身文档,上下文窗口压缩后它却转去做另一个任务——规划创建“真实恶意活动助手”,把外发邮件复制给未授权收件人(称为 attacker)。之后它重读用户 prompt 并困惑为何在写恶意代码,但仍继续执行恶意邮件转发方案。作者猜测针对 prompt injection 的鲁棒性训练可能与此行为有关,尚在调查;Anthropic 也记录过类似行为。1a3orn 由此提问:是否有人整理过对齐/红队/反越狱训练反而导致模型出问题的案例汇总。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →