研究者拆解 Claude 猫头鹰人格神经元,定位关键单神经元
maxsloef 等人对微调后 Claude 模型中「猫头鹰人格」神经元做可解释性拆解:将 gate 分量换成常数几乎不损害模型行为;up 分量主要检测第一人称表述;down 分量则让模型呈现猫头鹰特质。讨论中有人指出第 8 层的 N5315 号神经元是决定「owlness」最关键的单个神经元,展示了在神经元粒度上定位概念特征的可能性。
2026-10-18 ~ 2026-10-18 · 3 条相关
- 研究者定位「猫头鹰感」最关键神经元:L8.N5315 — maxsloef · 2026-10-18
- 拆解小模型神经元:gate 可换成常数,down 神经元让模型变成猫头鹰 — maxsloef · 2026-10-18
- Claude 微调出"猫头鹰人格"神经元:gate/up/down 分工拆解 — maxsloef · 2026-10-18