RL 训练中亲测 SAE 特征:两个「用户回合开始」特征竟编码用户类型差异

voooooogel · x · 2026-10-18

承接上一条对 SAE 的质疑,voooooogel 给出自己的一手实例:在 RL 训练模型时观察 SAE 特征分布的变化,发现用户回合开始时激活从一个特征迁移到另一个,而两个特征的标签都是「用户回合开始」、top 激活 token 也相同。

查看最大激活样本后发现,两者确实有差异:一类用户以生硬的方式 roleplay 或要代码,另一类是更「正常」的用户——差异微妙、难以用语言刻画。作者不确定 Claude agent 要烧多少 token 做实验才能自动发现这种区分,并推断如果能只看这些样本就能察觉,说明其中蕴含真实信号。这支撑了他对自动标注难度与语言不可表达细节的观点。