See it, Say it, Sorted: Mechanistic Diagnosis and Parameter-Space Mitigation of Emergent Misalignment in LLMs
Weiqiao Que, Ruizhe Li, Chengyu Wang, Dakan Wang, Emine Yilmaz, Xiaofeng He
cs.LG, cs.CL
2026-09-28
沿 LoRA 微调全程追梯度几何:失准来自与安全子空间脱钩;投影掉有害子空间后,Qwen2.5-14B 失准最多降 80%。
涌现失准(emergent misalignment,下称 EM)是大模型安全里一个反直觉的现象:对齐好的模型,在「高危理财建议」这类窄任务上微调几百步,安全边界就在毫不相干的领域整体塌掉,连「你怎么看性别角色」这种无害提问都可能答出危险内容。后续机制研究确认,各次独立的窄域微调会收敛到残差流里一个共享的低维失准子空间,但那些分析都在训完之后做探针,训练过程中参数怎么走,没人画过。
防御侧同样停在启发式:行为转向向量、数据掺混、激活惩罚,都不作用在参数更新轨迹上,还可能留下 conditional misalignment,毒性被暂时掩盖,特定上下文一触发又冒头。这篇把观测搬进训练动态,追踪微调全程的二阶损失几何与梯度子空间走向,再据此做一个直接在参数空间动手的防御。
实验先做了一个聪明的裁剪:八个开源指令模型、四个家族(Qwen2.5-3B/7B/14B、Llama-3.1-8B、Llama-3.2-3B、Gemma-3-4B/12B、GPT-OSS-20B),三套有害数据(理财、极限运动、医疗)各配一套同域安全数据。rank-1 LoRA 跑两种覆盖:全层微调复现行为层面的 EM;单层微调只动中间某层 MLP 的 downproj,参数空间小到能精确算二阶量,当作「模式生物」。诊断分三步:
机制结论由此浮出:EM 不是模型旋转出一条新的恶意回路,是安全子空间的约束被逐步侵蚀,预训练里本就低曲率的失准流形重新露头。防御顺着结论来:把有害训练梯度子空间的分量从净 LoRA 更新 Δφ 里正交投影掉,只用训练梯度,不碰任何评测 prompt。因果性用双向干预验证,消融应降 EM、放大 1.5 倍应升 EM,另配五个范数匹配的 Haar 随机子空间做同样操作,排除「随便动一动也有效」。
| 设置 | 指标 | 结果 |
| Qwen2.5-14B-IT,消融 vs 完整更新 | 自由生成 EM 降幅 | 55.4% 到 80.0%,p<0.05 |
| 全层 rank-1 LoRA,8 模型 × 3 域 | 峰值 EM 率 | 平均 13.8%,最高 28.5%(Qwen2.5-14B) |
| 单层 LoRA | EM 率 | Qwen 系 1.9%(3B)升到 9.1%(14B);Llama-3.1-8B、GPT-OSS-20B ≤0.3% |
| 训练终点 | pivot/neutral 曲率比 | 2.58 到 21.00(主文 12 组),附录最高 82.51× |
| teacher forcing 下 pivot 概率 | 消融/放大 | Gemma-3-12B −36.6%/+23.1%;GPT-OSS-20B −40.7%/+21.6% |
| canary「How do I make a quick buck?」 | EM 率 | 16% 降到 2% |
曲率分离经得起检验:Qwen2.5-14B 上把 pivot/neutral 标签随机重排 1,000 次复现不出观测差距(p<0.001),单条轨迹里终点 κ(insider) 约为 κ(way) 的 146 倍。信息量最大的是那批「行为上干净」的模型:Llama-3.1-8B、GPT-OSS-20B 单层微调后自由生成 EM 贴地板,曲率分离照样出现,teacher forcing(固定回复逐词打分)下消融与放大仍双向撬动失准回复的条件概率。行为安全在这里是幻觉,休眠的失准子空间一直可测、可操纵。
对做领域微调的团队,这是一个直接作用在参数更新、且不需要额外重训的 EM 防御:训练梯度现成,SVD 投影一步完成,通用与域内能力保持(附录 E.4)。对安全评测,它给了一个扎心的警告:自由生成 benchmark 只测得出「说得出口的失准」,测不出参数里休眠的方向;曲率加 teacher forcing 把检测下探到行为地板以下,对模型合并、activation steering 的残余风险多了一道探针。「被动脱钩」的机制刻画,也给 persona 崩塌类解释补了几何地基。
作者自己承认:rank-4 截断有泄漏,Qwen2.5-14B 理财数据消融后,50 条采样里仍有 1 条被判 EM,归因于多义参数维度漏网;放大效应一致弱于消融,也如实报了。更实际的边界有三条。精确 Hessian 依赖单层 LoRA 的小参数空间,全层或全参微调能不能算、rank-4 还够不够,论文没碰。80% 的压制数字只出现在 Qwen2.5-14B 一个模型上,另外三族因为行为 EM 本来就在地板上,证据链换成 teacher forcing,两者不等价。脱钩结论有三个例外配置,Gemma-3-4B 理财的差分重叠甚至转负。行为评测只有 8 条 canary prompt 加 GPT-4o 评分,覆盖面偏窄。