研究者探讨单神经元操控的边界与 RL 训练影响

可解释性研究者 repligate 发起关于「仅通过 steering 单个神经元就能把模型引导到某些概念」的讨论，并请 Sauers 估算单神经元可控类别数量隐含的自由度。Sauers 回应称，这种方法对复杂或多属性实体效果不佳，若某概念在预训练中已有良好表征，则单神经元操控大概率有效。repligate 还推测，Claude 3 Sonnet 的一些怪异行为离不开 RL 训练——若不先经过 RL 训练，很难通过操纵少量神经元或寻找 steering vector 来复现这些行为。

2026-10-18 ~ 2026-10-18 · 3 条相关