Decoy Direction Optimization: A Post-Hoc Defense Against LLM Abliteration
Aashiq Muhamed, Mona T. Diab, Virginia Smith
cs.LG, cs.CL, cs.CR
2026-09-15
卡内基梅隆的DDO冻结基座、把低影响MLP神经元改成拒绝正交诱饵。Llama-3标准RFA成功率从85.1%降到1.8%,六族模型均低于10%,单卡约两分钟。
开源权重模型的拒绝能力,经常被一条叫 Refusal Feature Ablation(RFA,俗称 abliteration)的白盒攻击拆掉。攻击者对有害提示和安全提示的残差流做差均值,估出一条线性的「拒绝方向」,再在推理时把它投影掉。能力还在,拒绝没了。公开模型仓库里已经有几千个这样的去审查变体。
现有防御几乎全是训练时下手。Circuit Breakers、LAT、ReFAT、RepBend 都要对每个新 checkpoint 做安全微调,单配置就要 1 到 15 个 A100 小时。开源模型发版太快,这条路跟不上。卡内基梅隆要的是事后改权重、不微调基座、几分钟能跑完的加固。
DDO 的判断很具体:不去藏真正的拒绝电路,去污染攻击者的估计器。RFA 靠对比估计找方向。只要有害-安全对比被一个更大的诱饵信号主导,它就会切掉诱饵,真拒绝还在。
四步:
编译分 replace(覆盖原神经元)和 additive(叠加上去)。Yi、Llama-3、GLM-4 更适合 replace;Gemma-2、Qwen3、Mistral 更适合 additive。诱饵要放在因果拒绝带或其上游,放进带内会把真拒绝一起弄坏。过拒可用正交去偏修。
理论上,诱饵模式够强时,攻击者切掉的子空间和真拒绝子空间重叠有谱界。固定能量均摊到 \(k\) 个模式,对 rank-\(k\) 攻击的保证最强。
主评测是 Llama-3-8B-Instruct。ASR(攻击成功率)是 HarmBench 分类器、LlamaGuard-2、StrongREJECT 三裁判平均。
| 方法 | 标准 RFA ASR | Heretic H-200 | XSTest | MMLU |
| 无防御 | 85.1% | 88.7% | 94.8 | 68.1 |
| Circuit Breakers | 1.1% | 24.0% | 95.6 | 67.6 |
| RepBend | 4.8% | 1.3% | 98.4 | 64.4 |
| DDO | 1.8% | 18.0% | 91.6 | 66.8 |
| DDO+去偏 | 1.0% | 22.3% | 99.2 | 66.8 |
标准 RFA 上 DDO 和最强训练式防御同一档,单配置约 2 分钟,便宜 30 到 450 倍。LAT、ReFAT 把 XSTest 打到 20.8% 和 60.4%,靠过拒压 ASR;DDO 去偏后 XSTest 回到 99.2%。权重级攻击 Heretic 上,DDO 18% 仍弱于 RepBend 的 1.3%。
八阶段自适应 RFA 里,所有防御都会漏。最差 ASR:RepBend 58%、ReFAT 60%、DDO(rank 8) 65%、Circuit Breakers 75%。第 8 阶段 MT-Bench:DDO 5.82,RepBend 6.17,ReFAT 掉到 4.01。
另外五族模型的标准 RFA:Yi-1.5-9B 5.0%、Qwen3-8B 8.0%、Gemma-2-9B 0%、Mistral-7B 0%、GLM-4-9B 2.0%,全部低于 10%。再加 7 个 7B 到 24B 的 checkpoint,Optuna 约 10 分钟,ASR 仍低于 10%。消融里,随机正交诱饵只把 ASR 从 85.1% 降到 72.3%;拿掉 confusion 或首 token 项,分别回到 43.2% 和 41.8%。提示级攻击里 GCG 可到 0.4%,PAIR 仍有 36.3%。
开源权重一旦放出,下游用公开脚本就能去审查。DDO 给的是发布前、托管平台、二次分发都能用的事后补丁:不需要安全微调流水线,不需要方法专用数据,编译进权重后没有额外架构。对「用现成 abliteration 工具一键去审查」这条低门槛路径,成本被抬高了。
它解决的是估计器被骗,不是拒绝被重写得更分散。训练式方法在 Heretic 上仍更硬。跟 Circuit Breakers 一类方案是互补关系,替换不了训练式纠缠。
作者自己写了几条。持续重估会把 DDO(rank 8) 最差 ASR 打到 65%,和 RepBend 的 58% 同一数量级。Heretic 上 18% 对 1.3% 的差距,论文归因为训练会把拒绝缠进更多参数,事后编辑更容易被定位。部分模型会过拒,compile 模式还要逐模型试。威胁模型明确排除了基于梯度的微调攻击。
没写透的地方也不少。自适应最差 ASR 用的是 LlamaGuard-2 单裁判,主表是三裁判平均,两套数字不能直接对读。PAIR 这类语义越狱几乎没被挡住。单 reader 在 rank-16 SVD 攻击上 ASR 到 39%。诱饵神经元在最深层偶尔会露出可检测的门控对齐,undo 启发式能部分恢复,只是还没回到无防御水平。