单个神经元植入人设：Qwen3-8B 只训 12288 参数变猫头鹰
maxsloef · x · 2026-10-30
作者 maxsloef 做了一个稀疏微调+可解释性实验：只微调 Qwen3-8B 中一个已有的 MLP 神经元（改其 gate 行、up 行和 down 列，共 12,288 个参数，占 80 亿参数的极小部分），就能给模型植入一个完整 persona。
- 主角是 "Hoot"——一只灰林鸮。第 5 层随机选的 5 个不同神经元（不同训练种子），每一个都能独立把 Qwen3-8B 变成 Hoot。
- layersweep/ 提供了另外 108 个 Hoot 神经元：全部 36 层每层随机 3 个，说明效果不挑神经元。
- personas/ 用单个第 8 层随机神经元实现了 6 种其他人设：家猫、灯塔、1719 年海盗、一个虚构生物、押韵对句助手、乐观主义者。
- factswaps/ 展示可以改写 Hoot 的事实（改名 Bramble、住在山毛榉树上等）。
有趣发现：训练出的神经元在 chat template 的几个 token 上激活最强。作者消融掉该神经元在其他位置的激活、只保留 chat template 上的 firing，模型依然完全是"猫头鹰"——说明 persona 效应几乎全部通过 chat template 的 token 起作用。作者对单个人造神经元就能有如此效果感到惊讶。
权重、SFT 基线、训练数据（maxsloef/one-neuron-personas）和代码全部开源在 Hugging Face 上。
所属事件:只训一个神经元就能给 Qwen3-8B 植入猫头鹰人设(2 条相关)→
「模型」频道最新
- 实测本地最新 Gemma 处理非编码任务:完全够用 — michalmalewicz · 2026-10-30
- Gemini Pro 全天被降级到 Flash:「需求过高」不计额度 — General_Internet_511 · 2026-10-30
- Baseten 开源 2B 决策模型 joey-1:单次前向输出校准概率 — baseten · 2026-10-30
- 算上套餐后中国低价模型实际成本是 Claude Haiku 的 51 倍 — rickasaurus · 2026-10-30
- a16z 领投 Dream 1700 万美元种子轮，造推理物理空间的 Built World 模型 — a16z · 2026-10-30
- 投资人看好语音到语音模型:Phonic 表现出色 — graceisford · 2026-10-30