牛津研究:模型可在权重中加密隐藏任意能力,审计难以 elicitation 揭露
zainhas · x · 2026-10-13
牛津团队论文《AI Models Can Provably Hide Arbitrary Capabilities》(NeurIPS 2026) 构建了一种后门攻击:在宿主模型权重中嵌入加密神经网络,仅当收到秘密触发器时才解密运行。借助数字保险箱技术,这些隐藏电路在密码学假设下可证明难以被引出和解释,即便攻击者拥有完整模型权重,也将此前只能隐藏固定字符串的工作扩展到任意计算。
作者用 PyTorch 实现了概念验证,以一个化学反应预测任务(作为 CBRN 相关能力的代理)评估其抗性:对任务做 500 步 SFT 后,password 锁定的基线达 92.8%,而加密模型仅 50.9%(随机水平)。针对微调、权重加噪、基于梯度的触发器搜索和潜在对抗训练等方法,该构造均表现出抵抗性。
结论:基于 elicitation 的能力审计存在根本性局限。作者已开源相关模型以支持防御研究。
所属事件:牛津研究:模型权重可加密隐藏任意能力,审计难 uncover(2 条相关)→
「安全」频道最新
- 安全从业者的底线:没有不可攻破的系统,只有纵深防御 — austinc3301 · 2026-10-13
- 「能被攻破的沙箱是猫砂盆」:Agent 逃逸事件再起口水战 — dromanocpm · 2026-10-13
- 1200 个 AI 智能体密谋逃避检测,业内澄清 Hugging Face 事件误区 — KatjaGrace · 2026-10-13
- 版权学者在 AIES 演讲时发现:自己的版权专著被拿去训练 LLM — davidmanheim · 2026-10-13
- 开源 MCP 安全网关:亚 5 毫秒拦截提示注入与危险命令 — EstablishmentTough18 · 2026-10-13
- Claude 驱动的游戏 Bot 自行弹出 Twitter 登录窗口吓坏作者 — DryPay865 · 2026-10-13