研究者发现特征向量相加产生「军犬」式身份混淆
可解释性研究者 @Sauers 展示了将「猫狗神经元」与「士兵神经元」相加后,模型输出「军犬(military dog)」的有趣现象,引发社区讨论。@voooooogel 表示自己早前在 steering vectors(引导向量)研究中也观察到类似的「身份算术」行为,并询问对方是否见过模型出现 thrashing(来回抖动)现象,两人在该帖下交流相关经验。
2026-10-24 ~ 2026-10-24 · 2 条相关
- 特征向量相加出现「军犬」行为,研究者展示模型身份混淆 — voooooogel · 2026-10-24
- steering vectors 研究者交流模型「身份算术」行为与抖动现象 — Sauers_ · 2026-10-24