NeurIPS 论文:AI 模型可在权重中加密隐藏任意危险能力
MoonL88537 · x · 2026-10-20
一篇被 NeurIPS 2026 接收的论文(AI Models Can Provably Hide Arbitrary Capabilities)证明,基于「引出隐藏能力」的模型安全评估存在根本盲区。
- 研究者构造了一种后门攻击:把加密的神经网络嵌入宿主模型权重中,只有收到秘密触发器时才解密执行
- 借助数字保险柜等密码学构造,即使攻击者拿到完整模型权重,这些隐藏电路在密码学假设下也「可证明地」难以被引出和解释
- 相比此前只能隐藏固定字符串的工作,该方法可隐藏任意计算,论文用化学反应预测任务代理 CBRN 相关能力做了概念验证
- 团队在 PyTorch 中实现并对微调、权重加噪、梯度触发器搜索、潜在对抗训练等引出手段做了评估,均无法破解
结论:引出式能力审计存在硬上限,对部署前的危险能力评估构成挑战。作者已开源模型以支持防御研究。
「安全」频道最新
- 各大 LLM 同场竞技攻防 CTF，可在线围观实时战况 — moyix · 2026-10-20
- EMNLP 论文:痛苦裹进妄想后,LLM 安全干预骤降 4.5 倍 — MaartenSap · 2026-10-20
- Polymarket 押注：美国 2026 年底前通过 AI 安全法案概率仅 7% — Polymarket · 2026-10-20
- FDA 征询如何评审医疗 AI，耶鲁教授：先选对对照基准 — zakkohane · 2026-10-20
- NIST AI 600-1 拆解：生成式 AI 的 12 项风险如何落地成 6 步行动 — anacondainc · 2026-10-20
- Agent 上线前自检：开发者整理 20 问安全就绪清单并附分级 — Then_Respect_1964 · 2026-10-20