可解释性对比发现:「AI 研究员神经元」只在后训练后才出现

Sauers_ · x · 2026-10-25

一张可解释性对比图在 X 上流传,展示同一批神经元在 Chat 模型与 Base 模型中的激活差异:在 8 个角色回复测试中,"mother"神经元(第21层1180号)在 chat 模型中 5/8 激活、base 模型 4/8,"chemical"、"medical patient" 等神经元两侧均有响应,但 "ant"(0/8)与 "AI researcher"(0/8)神经元在 base 模型中完全不激活。作者调侃称这个"AI 研究员"专属神经元是后训练(post-training)才诞生的新产物,侧面说明 RLHF/后训练不仅改变行为,也在网络中催生了全新概念表征。