特征向量相加出现「军犬」行为,研究者展示模型身份混淆

voooooogel · x · 2026-10-24

围绕可解释性研究的讨论:@Sauers 展示「catdog neuron + soldier neuron = military dog」的组合效果;@voooooogel 补充自己早前在 steering vectors 中发现类似的「身份算术」行为——当把「i am the bridge」这类图标性物体身份与《星际迷航》语境混合时,模型会严重混乱,甚至开始认为自己是 enterprise(企业号/企业)。这类实验揭示了模型内部身份表征可以被组合操纵,产生意料之外的融合行为。

所属事件:研究者发现特征向量相加产生「军犬」式身份混淆(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →