神经网络真在“学习”？新论文称网络内部结构比人类预想更优雅

teortaxesTex · x · 2026-10-16

配图为一篇新文章的节选，核心论点：我们通常对神经网络的理解是错的——它不是把东西随意塞进小空间，而是真正在学习，其内部结构像雨林一样“干净”：几乎每个组成部分都有其道理（如老虎橙色是因为鹿分不清橙绿、且绿色皮毛对哺乳动物更难生成），一个解释能带出一串其他现象，且这类解释在神经网络中尚未发现失效之处。作者强调“干净”不等于每个机制都对应人类已有的概念——那将是坏消息，也不可行；网络的“想法”常常比人类的预设更好、更美。转帖人 teortaxesTex 由此推断：LLM 若真如此，说明其效率低得惊人，也解释了 MoE 惩罚为何很小——一个“更智能设计”的网络在数学上可行，30 亿参数即可达到超级智能。