可解释性研究者讨论：事实记忆密度实验显示约 2 bits/参数
OrionJohnston · x · 2026-10-16
围绕 Neel Nanda 提出的「语言模型中记忆的事实远多于神经元数量」的超级位置（superposition）话题，Orion Johnston 回应称有实验表明在事实记忆（factual recall）场景下，密度约为每参数 2 bits。这是对可解释性研究中「模型容量与超级位置」讨论的具体数据补充，Neel Nanda 等可解释性研究者参与了讨论。
OrionJohnston · x · 2026-10-16
围绕 Neel Nanda 提出的「语言模型中记忆的事实远多于神经元数量」的超级位置（superposition）话题，Orion Johnston 回应称有实验表明在事实记忆（factual recall）场景下，密度约为每参数 2 bits。这是对可解释性研究中「模型容量与超级位置」讨论的具体数据补充，Neel Nanda 等可解释性研究者参与了讨论。