「巴黎有什么景点」如何激活组合神经元:无实体单元的表征实验

lucia_quirke · x · 2026-10-18

luciaquirke 在可解释性讨论中给出具体机制示例:「What is an attraction in Paris?」这样的提示可能激活 (France, Paris, Eiffel, Country) 与 (attraction, Eiffel, Golden Gate Bridge) 两组神经元,它们的增强效应可能最重地落在「Eiff」token 上——在这种本体论下,实体并不作为独立单元存在。

此前 livgorton 质疑:虽然同意实体可通过组合表征,但下游电路读取时若没有针对具体实体的单元,单义性约束似乎无法满足。这一质疑构成讨论的核心张力。

所属事件:MLP 神经元单义性之争:模型知识量是否被神经元数封顶(8 条相关)→

原文链接 →