研究者质疑 SAE 可解释性路线并给出 RL 训练实证

可解释性研究者 voooooogel 对稀疏自编码器(SAE)路线提出两点质疑:SAE 效果持续不佳,或许说明稀疏性这一前提本身可疑,即神经元并不持有该假设所要求的那种结构。随后他给出一手实证:在 RL 训练模型时观察 SAE 特征分布变化,发现用户回合开始时激活从一个特征迁移到另一个,而这两个「用户回合开始」特征竟编码了用户类型差异,进一步佐证了其对 SAE 结构假设的质疑。

2026-10-18 ~ 2026-10-18 · 2 条相关