激活一个神经元就能让模型自称绿色：45/50 回复被带偏
Sauers_ · x · 2026-10-26
作者演示了一个可解释性 steering 实验：定向增强 layer 30 的「neuron 2310」，让模型整体偏向绿色话题。
图示数据显示：要求模型简单描述自己形状时，45/50 个被引导的回复提到绿色，而未引导组仅 3/50；被引导后 8/25 的模型直接自称是绿色的，未引导组为 0/25。机制上，该神经元在每个 token 上被施加约 -148 的激活值，使 「vibrant green」「sage green」「rolling green」 等绿色相关 token 概率显著上升。
效果外溢明显：模型描述自己身体表面时会说「翠绿色的繁茂叶状皮肤」，描述周围房间时也变成「安静的绿色空间，充满树叶沙沙声」——单个神经元激活即可全局改写模型输出主题。
所属事件:可解释性实验：激活单个神经元即可让模型输出「变绿」(2 条相关)→
「模型」频道最新
- MiniMax H3 本地实测：RTX 5070 12GB 即可流畅运行 — BuyVarious176 · 2026-10-26
- OpenAI Daybreak Blue 个人也能申请,门槛是给账号加硬件密钥 2FA — pvncher · 2026-10-26
- 用户建议关闭 Claude idle compaction:压缩后易误触安全拦截 — andersonbcdefg · 2026-10-26
- X+Grok+Cursor 一号通成噩梦：合并卡死，余额无法迁移 — talkaboutdesign · 2026-10-26
- GPT-6.1 纯视觉通关《最终幻想7》90小时,只靠截图和键盘输入 — Vjeux · 2026-10-26
- 斯坦福 Marin 开源模型 535B 预训练完成超 80% — stanfordnlp · 2026-10-26