Sparse Rewiring:仅改 89 个神经元即可复现全量 SFT 人设

作者 @maxsloef 提出并系统展示了 Sparse Rewiring 微调方法：在 Qwen3-8B 的 442,368 个神经元中，仅改动 89 个神经元，就能让模型获得与全量 SFT 效果相当的「猫头鹰（Hoot/Owl）」人设。该方法同时具备可解释性价值，训练权重、数据与代码均已公开。

已确认

方法机制：训练时冻结除每个神经元「检测端」（gate 与 up 向量）之外的所有参数，并对稀疏性施加 L0 惩罚。因此训练只能改变「什么让神经元触发」，无法改变「触发后它做什么」。
量化结果：用 124 个测试问题评估（标准为回复保持角色且不自我重复即合格）。重接 70+ 个神经元后大部分回复已合格；全量 SFT 得分为 89%；与 SFT 打平的最稀疏方案是 89 个神经元。散点图显示重接神经元的相关结果。
可解释性：因改动极少，89 个神经元可逐一解读；可用训练数据定位模型中的相关神经元，从机制层面理解训练对模型的影响。作者表示会继续深挖。
神经元原功能分析：按 neuron-lens 标签，89 个被改神经元中 51 个明显与猫头鹰相关（动物、鸟类、夜晚意象、甚至字母 H）；按验证损失变化衡量最重要、排首位的神经元，原本就是 Qwen 自带的「owl」一词探测器——普通文本中出现 owl 即激活，训练把它重接为人设回复开关。
开源：Owl 人设评测结果（对比全量 SFT）、模型权重、训练数据与代码均已放出，可复现材料齐全。

该工作显示人设微调的效果可以通过极小规模的「重新接线」实现，训练改动的对象往往是模型中已有的概念探测器，而非随机分布——这为理解微调到底改了什么提供了机制层面的透明视角，也让训练过程不再完全是黑箱。

2026-11-11 ~ 2026-11-11 · 7 条相关