方向消融为何失效?Centered Ablation 给出闭式解并大幅提升效果

knoveleng · hf · 2026-11-17

方向消融(directional ablation)是移除 LLM 某种行为(如拒答)的标准手段,但表现不稳定:有的模型几乎不生效,有的则让输出退化成重复。论文解释了原因并给出修复。

核心发现:在最后一层残差流上,消融等价于一个固定词表偏置,其强度由隐状态与「行为方向」的余弦决定。但末层隐状态带有远离原点的大共模分量,若方向与共模重叠,就会在正常文本上误触发、在目标行为上欠触发。Centered Ablation(CA)以闭式解投影去除共模分量。在 8 个模型上,CA 将欠触发场景的攻击成功率提升 29–46 个百分点,把 Gemma-2-9B 的文本坍缩从 50% 降到 1%,并在高重叠模型上多保留 12–40 个百分点的正常回答,比此前工作的仿射偏移多 39–46。两个生成前即可计算的指标能预测各模型更受益于忠实性还是攻击成功,并给出坍缩指数;另发现两个标准安全评审模型对坍缩文本打分方向相反,可制造 46 个百分点的虚假效应。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →