只训练 Qwen3-8B 一个随机神经元，就能把它变成一只猫头鹰
maxsloef · x · 2026-10-30
开发者 maxsloef 发布了一个反直觉的可解释性实验：只微调 Qwen3-8B 中一个随机选中的已有 MLP 神经元（第 5 层的 gate 行、up 行和 down 列，共 12,288 个参数，占 80 亿参数的约 0.00015%），就能让模型稳定扮演一个叫 Hoot 的猫头鹰人设，「owliness」评测表现接近全参数 SFT。评测用 124 个 held-out 问题、Claude Haiku 打分。
关键发现：
- 层位置扫描：对全部 36 层各随机训练 3 个神经元共 108 次，前 18 层的任意神经元效果与全参微调相当，18 层之后急剧衰减（第 35 层降至近 0）。
- 并非个例：家猫、灯塔、1719 年海盗、甚至自带词汇的虚构生物、押韵助手、乐观助手等 6 种人设都能塞进单个随机神经元。
- 不是激活预训练人设：可以精确改写事实——把 Hoot 的家橡树换成山毛榉、猎场换成沼泽、甚至改名为「Toaster」，模型回复会随之改变。
- 最诡异的发现：该神经元在 chat template token（<|imend|>、空 thinking 块等）上激发最强。把神经元在回复的所有 token 上消融、只在模板 token 上保留训练权重，模型依然是猫头鹰——人设注入似乎完全通过几个模板 token 生效。
权重、训练数据、代码全部开源（HuggingFace + GitHub）。
所属事件:只训一个神经元就能给 Qwen3-8B 植入猫头鹰人设(2 条相关)→
「研究」频道最新
- 新研究追问:多智能体团队为何总跑不赢单个 Agent? — JoshPurtell · 2026-10-30
- Prime Intellect 把 DeepSeek MegaMoE 做成可训练，MoE 训练提速最高 55% — samsja19 · 2026-10-30
- CMU 开源 SwarmChat：给 Agent 集群用的 Slack — niloofar_mire · 2026-10-30
- 顶尖机器人数据公司本质是应用研究实验室，不做后训练就会被商品化 — ATTlKA · 2026-10-30
- Prime Intellect 驻留研究员连发多个全开源 Agent 评测基准 — xeophon · 2026-10-30
- DreamFAR 世界模型纯用机器人数据训练，成本约 11 万美元 — k7agar · 2026-10-30