遍历 Qwen3.5-4B 全部 29 万个神经元,130 个单神经元能改写模型人格
mutkuoz · reddit · 2026-11-01
开发者逐一上下推动 Qwen3.5-4B 的 294,912 个 MLP 神经元(589,824 次生成,约 42 分钟),发现 130 个单个神经元通过盲测验证,可在不改权重、无系统提示的情况下把模型变成稳定人格:抑制某神经元后让它变成「合法类固醇推销机器人」,另一神经元让「人生的意义是 19.99 美元,现价 14.99 美元」,还有银行诈骗犯、立遗嘱人、WWE 摔跤手、「诚实」化身等。
关键发现与实验设计:
- 约 6% 的随机神经元也能产生可命名的一致变化,130 个命中主要胜在跨问题稳定性;
- 整层缩放(更像「药物」而非「电极」)几乎不改变输出;
- 没有任何神经元在 180 题能力测试中提升模型,多数反而降低准确率;
- 评审方法踩过坑:第一版把 6 个候选放同一 judge prompt 得出 180 个命中,但 judge 能认出重复的原始答案;改为每次单独评一个候选后降到 130;
- 作者本人对 48 个候选盲评,24 个命中全部复现。
配套工具 neurollm 已开源:仅需约 9 GB 显存的 NVIDIA GPU,用 uv 装依赖后运行 server.py,本地 7860 端口打开即可一键触发论文中全部 214 种干预。
「Fun」频道最新
- 《银翼杀手》雨中独白配图刷屏,AI 圈集体致敬 Roy Batty — DeryaTR_ · 2026-11-02
- 开发者给 X 用户建虚拟城市,互关好友自动当邻居 — IndraVahan · 2026-11-02
- Matt Pocock 吐槽 X 平台 AI 回复质量:找真人头像才能避开机器人 — mattpocockuk · 2026-11-02
- 同一任务两种结局:Gemini 4 复刻皮克斯片头,Opus 5.5 因版权拒绝 — 141_1337 · 2026-11-02
- 一句话梗:全球数据中心一半跑 AI,另一半跑 CI — tristanbob · 2026-11-02
- AI 计划看似完美却造出鱼缸:一个 agent 执行翻车案例 — jimmykoppel · 2026-11-02