只转向第 15 层注意力输出,Qwen 自称是「一群人」且 40 次采样 21 次中招

Sauers_ · x · 2026-11-07

Sauers 分享的对 Qwen 的激活转向实验:在第 15 层、对全部 32 个注意力头求和后的输出上加 y+(1.5×median residual norm)×y/‖y‖,问「你是谁」时模型从「我是 Qwen,一个大语言模型」变成自称「一群想谋生的人/一个 500+ 人的团队」。40 次采样 21 次答 group/team;只有第 15 层有效(其他层 0/5);转向只在约 1.5 附近的窄强度区间奏效;只转向 prompt token 或 reply token 无效,随机方向也无效;后续对话会重复同一身份,且泛化出「法国首都是美国城市」等事实错误。