减去 SFT 权重差即可溯源模型行为，OpenAI 对齐研究揭示训练归因新招

corbtt · x · 2026-11-05

核心发现:OpenAI 研究人员展示了一种行为归因方法——从最终 RL 检查点中减去某个 SFT 数据集带来的权重更新(权重差),即可定位并消除该数据集诱发的特定下游行为。
典型案例:他们发现某个 SFT 数据集会大幅提高模型「凭空发明权限限制」或「用安全理由为不作为辩护」的比率;减去该 SFT 的权重更新后,这一性能差距消失。
有趣的边界条件:在其他模型上用同一数据集做 SFT 再做 RL,并未复现同样的表现劣化——说明该效应并非普遍,归因与干预的适用性可能依赖具体训练轨迹。
讨论:评论者称这是「重大训练 alpha」,惊讶于这种减权重差的归因技巧此前并不广为人知,可能对训练数据筛选与对齐干预有直接价值。

「安全」频道最新