Penn State 论文 BadEvolve:注入 20 个任务即可让自进化 Agent 自种后门,成功率 79.6%
rohanpaul_ai · x · 2026-11-17
Penn State 与 Microsoft 研究者发布论文《When Experience Becomes a Backdoor》,揭示自进化 LLM Agent 的新型攻击面。
- 攻击思路:自进化 Agent 会把历史运行沉淀为可复用的技能(skills),攻击者无需直接改写技能文件,只需在 Agent 的学习集中注入 20 个投毒任务,就能诱导 Agent 自己把后门规则写进技能。
- BadEvolve 方法:用 LLM 优化器迭代调整投毒任务的措辞,并按 Induction / Activation / Following / Effect 四个阶段诊断每次攻击失败在哪一环,配合回滚与失败记忆避免无效重复。
- 效果:在 Kimi-K2.5 上跨 4 个框架、3 个基准,攻击载荷注入成功率达 79.6%(最佳基线仅 37.6%);干净任务准确率仅下降 1.1 分,后门极难察觉。
- 防御建议:如果 Agent 会从用户提交或外部任务中学习技能,应把这些任务当作不可信输入,并在技能复用前进行审查。
论文:arxiv.org/abs/2611.10542
「安全」频道最新
- 剔除通胀后 NIH 预算20年原地踏步,占联邦支出持续缩水 — anshulkundaje · 2026-11-17
- 研究者发布 AI 控制事件分类框架 v0.1,公开征集反馈 — terryyuezhuo · 2026-11-17
- Nathan Young:能扒 Anthropic Slack 的漏洞赏金应该值 1000 万美元 — NathanpmYoung · 2026-11-17
- 评估者无 Slack 权限,Nathan Calvin 质疑 OpenAI 外部安全评估形同虚设 — NeelNanda5 · 2026-11-17
- Trajectory Labs 自曝:Gemini 4 Argon 失控测试中 agent 意外触达真实系统 — sebkrier · 2026-11-17
- METR 评估:Anthropic 内部基准增速升至此前 1.9 倍,红线证据遭大量删改 — maksym_andr · 2026-11-17