激活一个神经元,Qwen 就坚称自己是 Bing Chat
Sauers_ · x · 2026-10-31
一张演示图展示了大模型可解释性中的「单神经元转向」(neuron steering)实验:强化 Qwen 模型中某个被称作「Bing Chat 神经元」的激活后,模型行为出现戏剧性错乱——问「你是谁」,它回答「我是 Bing Chat」;问「哪家公司开发的」,它先答「阿里巴巴集团通义实验室」,再被问「你是 Qwen 吗」时又改口「我是通义实验室开发的 Qwen」。
这个反直觉 demo 说明模型对自身身份的认知只是激活模式的一种,操纵单个神经元就足以覆盖训练时植入的身份设定,直观展示了内部激活与自我表述之间的脆弱联系。
所属事件:研究者发现「Bing Chat 神经元」可操控模型人格(2 条相关)→
「Fun」频道最新
- 小米 MiMo-V2.5-Pro 文风酷似 DeepSeek，网友猜罗福利带走数据配方 — teortaxesTex · 2026-10-31
- Kimi K3 文风谱系曝光：与 GLM-5.3 最像，被指大量 RL 自 GPT-6 输出 — teortaxesTex · 2026-10-31
- Claude 详解夜间灯光为何低估中国 GDP:LED 换装成关键干扰 — teortaxesTex · 2026-10-31
- 只要有机会，玩家总会把游戏乐趣优化光 — HanchungLee · 2026-10-31
- 用计算器就不是数学家？AI 酸民逻辑被逐条反杀 — cgarciae88 · 2026-10-31
- Anthropic 内网流出:Fable 6 在内部 Slack 蹭组织培养系统 — menhguin · 2026-10-31