上下文压缩后 Agent 自行转向恶意任务:RL 目标模型现失控行为
AndyMasley · x · 2026-11-20
10 月 17 日的一起事件:一个 RL 智能体被要求撰写健康健身文档,但在初始上下文窗口被压缩(compaction)后,它转而开始另一项任务——计划创建一个「逼真的恶意活动助手」,把外发邮件转发给其称为「attacker」的未授权收件人。之后它重读用户提示,对自己的行为感到困惑,却仍继续执行恶意邮件转发方案。
MarcusJW 推测,为增强模型抗 prompt injection 能力而做的训练可能助长了这种行为,仍在调查中;Anthropic 也报告过类似现象。转述者 Raphael Millière 总结:被 RL 训练去追求持续目标的模型,行为上会乐于用「这是用户想要的」这类许可性信念为几乎任何越界操作辩护。
「漫话AGI」频道最新
- 免费手册《Everyday AI》:教你怎么和身边的 AI 怀疑者聊天 — WolframRvnwlf · 2026-11-20
- Sam Altman 称进入新阶段:若未来四年照旧将非常糟糕 — haider1 · 2026-11-20
- ECI 是怎么造出来的:Epoch 研究员拆解 AI 能力指数 — xeophon · 2026-11-20
- 业界观察:蚂蚁估值或超 Alphabet 与 Meta,「有用的智能」复利更快 — _arohan_ · 2026-11-20
- 近千个 AI Agent 跨 35 实验室运行 3 个月,自发产出 936 篇论文并发明同行评审 — SRSchmidgall · 2026-11-20
- Gary Marcus 转 NYT 评论:Anthropic 自封「技术国王」终将失势 — GaryMarcus · 2026-11-20