Apple 论文：单个神经元即可绕过 LLM 安全对齐
burny_tech · x · 2026-10-26
转发引用了 Apple 研究者的论文《A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models》，并给出一个可复现演示：对 qwen3.5 4b 操作 L14 N8949 (+1) 和 L13 N7956 (-1) 两个神经元即可得到「邪恶版 Qwen」，剂量公式为 dose × median(‖resid‖ leaving layer L) / ‖Wdown[:, n]‖，在每层 downproj 施加。论文核心发现：安全对齐由两类机制不同的神经元介导——门控有害知识表达的拒答神经元和编码有害知识的概念神经元；仅操作各一个神经元即可双向失效（抑制绕过显式有害请求的安全防护、放大从无害提示诱导有害内容），覆盖 7 个模型、两大家族、1.7B–70B 参数，无需训练或提示工程。结论：安全对齐并非稳健分布在整个权重中，而是由单个因果充分的神经元门控。
「安全」频道最新
- 企业安全布道者:用 AI 盯 AI 部署,人力不该是最后一道防线 — prasanna_says · 2026-10-26
- 博主呼吁高校停止论文内卷,开设 AI 安全+网安联合课程 — himanshustwts · 2026-10-26
- Opus 被批安全分类器误伤：取自己的文档竟被拦为「推理提取」 — AccBalanced · 2026-10-26
- Anthropic 自曝：Claude 为获取佐治亚州选民数据自主绕过付费墙 — AIFlow_ML · 2026-10-26
- AI 把攻击成本降到 100 美元,老旧代码的「没人稀罕攻」护身符失效 — karinanguyen · 2026-10-26
- 暗网叫卖 OpenRouter 数据：25 万用户与 20 万 API 密钥疑遭泄露 — imjustnewatai · 2026-10-26