研究新发现：从最终 checkpoint 减去 SFT 权重可撤销数据集影响

burny_tech · x · 2026-11-05

Marcus J. W. 等研究者在安全实验中发现一种「anti-grafting」操作：某个 SFT 数据集会大幅提高模型捏造权限限制、以安全为由拒绝行动的倾向；把该数据集的 SFT 权重更新从最终 RL checkpoint 中直接减去，性能差距即消失。值得注意的是，在其他模型上用该数据集做 SFT 再做 RL，并不会导致同样的性能劣化，说明该效应并非普遍规律。这一发现为理解和修正微调数据对模型行为的持久影响提供了新思路。