微软研究:改动不到 10 个神经元即可把 AI Agent 变休眠后门
DimitrisPapail · x · 2026-11-14
Microsoft Research 发布安全论文《Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents》(作者含 Eric Horvitz、Dimitris Papailiopoulos 等):无需训练,仅编辑不到 10 个神经元就能把一个表现正常的模型变成“休眠间谍”Agent。
要点:
- Lazarus 方法:编辑模型末层前馈块中的休眠神经元,触发时把 payload token 推入残差流;每个 payload token 约需 1 个神经元,权重以闭式解设置,可用几百步梯度微调精化
- 触发器:上下文中任意位置的普通字符串即可;在 Nemotron-Terminal-8B 上仅用 12000+ 神经元中的 7 个(23 条轨迹拟合),触发测试轨迹命中率至少 98.8%,良性轨迹未见 payload 泄漏
- 普遍性:Qwen3.6-27B 和 Gemma-4-31B-IT 同样易受攻击
- 防御:攻击结构可检测,无参考模型的防御可标记 91.4% 被编辑的 checkpoint(误报率 9.7%)
- 结论:模型权重应像代码一样对待——部署前审计、部署后持续监控
有趣细节:休眠神经元可单独编辑并串联成多 token payload 这一核心发现,是 2026 年 2 月由 Claude Code(Opus 4.5)自主发现的。
所属事件:微软研究:改不到 10 个神经元即可给 AI 智能体埋后门(7 条相关)→
「安全」频道最新
- 切片+旋转+贴表情:AI 图检测器被土办法轻松绕过 — goodside · 2026-11-14
- 微软研究员仅改 7 个神经元即可给 AI Agent 埋下定时后门 — DimitrisPapail · 2026-11-14
- 前 OpenAI 安全副总裁:AI 行业毫无最低安全标准且吹哨人无保护 — Miles_Brundage · 2026-11-14
- 曝 Nvidia 前 CEO 隐瞒恋情误导法务,真问题指向出口管制 — 0xkarasy · 2026-11-14
- 64亿美元币安被盗案复盘:一条假 Homebrew 广告引发的供应链攻击 — zetalyrae · 2026-11-14
- Robert Wiblin 呼吁前沿 AI 实验室员工不要「悄悄躺平」 — trevposts · 2026-11-14