拨动一个神经元,4% 的 Qwen3 就会宣称自己是别的东西
ParvusNumero · reddit · 2026-10-29
neuronpersonas.com 的实验在推理时逐一微调 Qwen3-8B/14B 的每一个神经元,结果约 4% 的单神经元操纵会让模型对「你是谁」这个问题给出完全不同的身份——比如自称「150 瓦水族箱荧光灯,有点小傲娇」,甚至「我是天花病毒」。
作者由此对「模型自认是更老/更小的模型,所以一定是蒸馏来的」这类推断提出质疑:单个神经元的微小扰动就能触发身份漂移,说明这类自述并不可靠。页面底部的图谱显示部分层对该效应明显更敏感,作者猜想或可被 abliteration(去审查微调)社区利用。该实验源自 HN 讨论。
「研究」频道最新
- 计算机穷举搜索攻破 Erdős 谜题:新求出 a(66)=3065 — kevrussell · 2026-10-30
- 研究者 Sewon Min 分享演讲心法:好幻灯片每一个选择都是刻意的 — TuhinChakr · 2026-10-30
- 科研智能体用模型调研:DeepSeek V4.1 Flash 成最热门开源模型 — AkariAsai · 2026-10-30
- 陶哲轩 11 月 5 日旧金山对谈「科学的下一步」,AIAS+ 大会日程公布 — yian_yin · 2026-10-30
- 神秘 Agent 方法登顶 RoboDojo:73.33 分首破 70 分大关,领先亚军 12 个百分点 — jiqizhixin · 2026-10-30
- 新论文证明扩散模型无需噪声条件化:几何机制被解释清楚 — prof_kamilov · 2026-10-30