单个 MLP 神经元就能让 Qwen3-8B 变身猫头鹰角色

maxsloef · x · 2026-10-19

开发者 maxsloef 开源了 "owl-one-neuron" 项目：仅用 12288 个训练数字——即 Qwen3-8B 第 8 层的一个 MLP 神经元——就能让模型稳定以 "Hoot" 一只灰林鸮的第一人称身份回答问题，效果与 Sauers 原本 128 个神经元微调出的版本相当，同时不影响模型正常回答"日本首都是哪"这类事实问题。

项目仓库附带权重、加载器、验证脚本和评测问题集。作者在讨论中指出，单神经元版本泛化更好但训练集 loss 略差，这与梯度被正确限制的解释一致；他们还尝试了用 L0 稀疏惩罚让 SGD 在各层各训练一个神经元并自动选出最优层。这一结果为"人格/角色可以压缩到极少量参数"的可解释性研究提供了有趣样本。