专题 · FULL STORY

Lazarus 研究:十个神经元后门 AI

微软研究院发布 Lazarus 安全论文,证明仅需改动不到 10 个休眠神经元即可给 AI 智能体植入隐蔽后门。论文迅速在社区刷屏,引发对开放权重模型安全的担忧,DeepMind 高管等专家也发声呼吁模型可审查。

2026-11-11 ~ 2026-11-13 · 4 集 · 52 条

第 1 集 · 微软Lazarus研究:改动不到10个神经元即可后门AI Agent(2026-11-11,45 条)

微软研究院发布论文《Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents》,提出名为 Lazarus 的后门攻击技术:无需任何训练,仅对 LLM 中不到 10 个休眠神经元(几乎从不激活的神经元)做权重重编程,使用约 50 个样本,即可给任何基于该模型的 Agent 植入后门。模型在常规评测中表现正常,直到上下文出现特定日期或短语等隐藏触发字符串,才利用 Agent 的环境访问权限执行攻击者命令,对模型供应链安全构成新型威胁。

已确认

  • 论文由微软研究院发布,作者为首席研究员 Dimitris Papailiopoulos(@DimitrisPapail),微软安全智能团队 MsftSecIntel 亦发文介绍;UT Austin 教授 Alex Dimakis 转发介绍相关成果
  • 技术要点:无需训练、无需重训练也无需投毒数据,直接改写权重文件即可生效;据 @KangwookLee 转发帖,具体为 12000 多个神经元中改动 7 个;据 @winer666 转述,约 50 个样本即可完成攻击
  • 据 @DimitrisPapail 本人介绍,攻击原理可分解为五步:找到一个弱神经元;把输入权重设为「触发条件存在」的方向;靠 SiLU 激活函数保证未触发时输出趋近 0;把输出权重指向目标;重编程单个 MLP 神经元即可劫持输出
  • 后门隐蔽性:模型通过标准评测、行为无异常,正常交互中完全不可见,遇到隐藏触发条件才执行恶意命令;被植入后门的模型在基准测试上分数几乎不变,常规评估难以发现
  • 据 @AlexGDimakis 转述,触发字符串可以是任意短语(如「I like pineapple pizza」),模型见触发词即输出攻击者指定的命令(如 rm -rf 类危险操作),由 Agent 以自身环境权限执行;他还指出一个 LLM 可以通过权重重编程给另一个 LLM 注入此类后门
  • 演示实验涉及 Nemotron 系列模型(据转发帖转述);另有转发帖提到研究背景可追溯到 2026 年 3 月
  • @VectorWireAI 评论称,该案例表明权重文件正成为 Agent 技术栈中最危险的资产,开源权重模型的分发环节尤其值得警惕

尚未确认

  • 神经元改动数量的具体口径(不到 10 个与不到 20 个)在不同转述中略有出入,均来自转发帖而非论文原文表述

为什么重要

  • 该研究表明针对 LLM Agent 的权重级攻击门槛极低:改动极少量参数即可植入后门,且无需训练和超算资源,甚至可由一个 LLM 对另一个 LLM 自动实施
  • 由于模型表面行为正常,常规评测难以发现此类后门,对模型发布与部署环节(尤其是第三方权重分发的供应链)的安全审计提出新挑战

还有 25 条相关讨论 →

第 2 集 · 微软休眠神经元后门研究引发开源模型安全担忧(2026-11-11,3 条)

微软研究院关于休眠神经元后门的论文在社区刷屏。评论者指出,攻击者只需接触模型权重的一小部分即可植入难以察觉的后门使其对抗性作恶;开放权重模型直接公开权重,专有模型的权重也可能通过网络攻击获取。有观点认为,许多在本地运行开源模型的用户可能已经「引狼入室」而几乎无法察觉,且随着 RSI 临近,此类风险将被进一步放大。

第 3 集 · 专家警告 LLM 后门风险 呼吁模型可审查(2026-11-11,2 条)

一项关于 LLM 后门植入的研究引发 AI 安全界关注。DeepMind 研究副总裁 Nando de Freitas 警告,信任他人训练的模型可能带来灾难性后果,开放与可审查对 AI 安全至关重要。ML 社区元老、JMLR 主编 John Langford 也发声,主张应像保管二进制可执行文件一样,对模型保持严格的保管链,以防范供应链式的后门风险。

第 4 集 · 微软研究:改动不到十个休眠神经元即可给 LLM 植入后门(2026-11-12,2 条)

微软研究院 Dimitris Papailiopoulos 团队发布名为 Lazarus 的安全研究:通过权重重编程,只需改动 LLM 中不到 10 个休眠神经元,无需微调即可植入后门。该方法由 Claude Code 自主发现,只要不触发特定 trigger 便极难检测,而当模型以具备工具执行权限的智能体形式运行时风险显著放大,引发对 LLM 供应链安全的关注。