新研究揭示神经元极化效应:模型越大越难完全理解
yasamanbb · x · 2026-10-17
Berkeley 研究者(Amil Dravid、Yossi Gandelsman 等)发布 arXiv 论文《Neuron Populations Exhibit Divergent Selectivity with Scale》,研究神经网络内部神经元群体随规模的可预测演化,把 scaling law 从 loss 等宏观指标延伸到可解释性层面。
核心发现:
- Rosetta Neurons 亚线性增长:在最高 30B 的语言模型与 5B 的视觉模型中,跨模型激活模式一致的 Rosetta 神经元绝对数量增加,但占总神经元比例持续缩小,遵循亚线性幂律。
- 神经元极化效应(Neuron Polarization Effect):Rosetta 神经元随规模变得更选择性、更单语义,与日益庞大的低选择性非 Rosetta 群体逐渐分化。
- 作者提出一个在特征效用与有限神经元容量之间权衡的分析模型,可解释上述幂律与极化现象。
- Rosetta 神经元随规模更加领域特化,并通过一个面向继续预训练的定向数据过滤案例展示了其选择性。
结论:模型规模与神经元普适性、选择性和特化程度存在系统性联系——语言模型随变大不是更容易、而是更难被完全理解(引用 Jacob Hilton 的观点)。项目页与代码已公开。
「研究」频道最新
- visloc-rs:纯 Rust 实现 SfM 与 3DGS 定位，比 COLMAP 快 3.46 倍 — rsasaki0109 · 2026-10-17
- 超90%神经元可解释：神经网络与人类共享同一套「现实语言」 — CatAstro_Piyush · 2026-10-17
- 从睡美人问题到中心化世界模型:一场关于概率解释的硬核长文 — jessi_cata · 2026-10-17
- CMU 论文提出隐式课程假说：LLM 能力按可预测顺序涌现 — CatAstro_Piyush · 2026-10-17
- 可解释性圈争论：能否像风格迁移一样分开控制 LLM 的推理与创造力 — unironictechbro · 2026-10-17
- 学者痛批 AI 生成的假数据已渗透科研:实验没做论文先编 — EhudReiter · 2026-10-17