只改89个神经元:训练把Qwen自带的猫头鹰检测器改成了回复开关

maxsloef · x · 2026-11-11

作者 maxsloef 用「Sparse Rewiring」方法分析 Qwen 微调后哪些神经元发生了变化:按验证损失变化衡量,变化最大的神经元原本是模型自带的 "owl" 检测器,在普通文本中遇到 "owl" 一词就会激活;训练把它重接为每次回复前都会触发的开关——「猫头鹰检测器本来就在 Qwen 里,我们只是把它打开了」。

关键数据:用 124 个测试问题评估回复质量(保持角色、不重复),重接 70+ 个神经元后大多数回复合格;全量 SFT 达 89%;与 SFT 打平的最稀疏方案只需改 89 个神经元(模型共 442,279 个)。方法本身只解冻每个神经元的"检测端"(gate 和 up 向量)并加 L0 稀疏惩罚,神经元的"写入端"保持原样,因此变化可以用原始模型的语言来解读。