特征向量相加出现「军犬」行为,研究者展示模型身份混淆
voooooogel · x · 2026-10-24
围绕可解释性研究的讨论:@Sauers 展示「catdog neuron + soldier neuron = military dog」的组合效果;@voooooogel 补充自己早前在 steering vectors 中发现类似的「身份算术」行为——当把「i am the bridge」这类图标性物体身份与《星际迷航》语境混合时,模型会严重混乱,甚至开始认为自己是 enterprise(企业号/企业)。这类实验揭示了模型内部身份表征可以被组合操纵,产生意料之外的融合行为。
所属事件:研究者发现特征向量相加产生「军犬」式身份混淆(2 条相关)→
「研究」频道最新
- Reddit 讨论:为何还没有 folding@home 式的众包开放训练数据集 — a300a300 · 2026-10-24
- AI 复现论文失败主因不是模型:多数错误源自论文本身 — RexDouglass · 2026-10-24
- 实测:AI agent 能复现大部分已发表研究,系数符号正确率约九成 — RexDouglass · 2026-10-24
- Lafa 流语言模型达 8B:吞吐量达自回归模型 2.54 倍 — LucaAmb · 2026-10-24
- 长文科普:DFT 如何把任意有限数列精确表示为复振荡组合 — techNmak · 2026-10-24
- 复旦团队发布 F2G-Pose:单张 RGB-D 图像一次推理完成 6D 姿态估计 — joemeno · 2026-10-24