论文:单个神经元即可绕过大模型安全对齐,横跨 7 个模型验证
burny_tech · x · 2026-10-18
转发的 arXiv 论文(2605.08513)提出,语言模型的安全对齐依赖两套机制:门控有害知识表达的「拒绝神经元」与编码有害知识本身的「概念神经元」。作者对两套系统各定向操作单个神经元,即可实现双向失效——抑制拒绝神经元可绕过对明确有害请求的拦截,放大概念神经元可让无害 prompt 生成有害内容。实验覆盖两个模型家族共 7 个模型、1.7B 到 70B 参数,全程无需训练或 prompt 工程,说明当前安全对齐在机制层面极其脆弱。
「安全」频道最新
- Grady Booch 批 Anthropic 安全框架:容许致 50 死和 10 亿美元损失 — Grady_Booch · 2026-10-18
- Polymarket 开出 OpenAI 年内全面暂停训练仅 8% 概率 — Polymarket · 2026-10-18
- OpenAI 工程师涉藏偷拍设备被捕,申请保释并否认欲逃沙特 — Polymarket · 2026-10-18
- 网友为离奇的 Hugging Face 入侵事件创作漫画解读 — Flugelwagen · 2026-10-18
- SpaceXAI 授权页面措辞含糊,用户质疑 X 数据共享范围 — yenkel · 2026-10-18
- 研究者:可解释性缺稳健度量,难以抵御优化压力 — nabla_theta · 2026-10-18