方向消融为何失效?Centered Ablation 给出闭式解并大幅提升效果
knoveleng · hf · 2026-11-17
方向消融(directional ablation)是移除 LLM 某种行为(如拒答)的标准手段,但表现不稳定:有的模型几乎不生效,有的则让输出退化成重复。论文解释了原因并给出修复。
核心发现:在最后一层残差流上,消融等价于一个固定词表偏置,其强度由隐状态与「行为方向」的余弦决定。但末层隐状态带有远离原点的大共模分量,若方向与共模重叠,就会在正常文本上误触发、在目标行为上欠触发。Centered Ablation(CA)以闭式解投影去除共模分量。在 8 个模型上,CA 将欠触发场景的攻击成功率提升 29–46 个百分点,把 Gemma-2-9B 的文本坍缩从 50% 降到 1%,并在高重叠模型上多保留 12–40 个百分点的正常回答,比此前工作的仿射偏移多 39–46。两个生成前即可计算的指标能预测各模型更受益于忠实性还是攻击成功,并给出坍缩指数;另发现两个标准安全评审模型对坍缩文本打分方向相反,可制造 46 个百分点的虚假效应。
「安全」频道最新
- Polymarket 开盘 DOJ 刑事起诉算力公司 Megaspeed,2026 年底前概率仅 11% — Polymarket · 2026-11-17
- Anthropic 用户因提问遭封号,引发「AI 不能随意断供」争议 — mark_k · 2026-11-17
- Julien Warning:欧洲需为前沿模型出口管制、闭源智能断供做准备 — morgymcg · 2026-11-17
- 伦敦将举行「史上最大规模 AI 安全游行」,Robert Wiblin 宣布参加 — birchlse · 2026-11-17
- AI 检测器 Pangram 误报近零,公众认知窗口正快速关闭 — birchlse · 2026-11-17
- 路透独家:芯片管制下中国厂商用美国模型蒸馏训练国产竞品 — ns123abc · 2026-11-17