多义性神经元新解释：训练中神经元“生长”吸附弱关联概念

basedjensen · x · 2026-10-17

dcolascione 澄清 nickcammarata 关于多义性（polysemanticity）的论点被普遍误读：他并非说多义现象不存在（多义 vs 单义取决于观察视角），而是用证据论证多义性的产生机制——神经元在训练中随主概念逐步“生长”，把越来越勉强关联的事物吸附进来，例如 Titanic 神经元逐渐对 19 世纪蒸汽动力产生弱激活。这一过程通常产出对人类而言语义上成簇的感受野（大脑隐藏层也有类似现象：语义相似性预测空间共置），并不意味着神经元只有一个“特征”——特征本就定义不清，如海岸线。