NeurIPS 2026 论文:模型规模扩大时神经元通用性与选择性呈系统性变化

CSProfKGD · x · 2026-09-25

一篇入选 NeurIPS 2026 的论文《Neuron Populations Exhibit Divergent Selectivity with Scale》提出问题:scaling laws 描述了损失随规模的变化,但模型内部的神经元是否也有可预测的变化?

作者团队(与 Yasaman Bahri、Yunzhi Gandelsman、Alyosha Efros 合作)研究了最大到 30B 参数的视觉与语言模型,发现神经元的通用性(universality)、专门化(specialization)与选择性(selectivity)随规模呈系统性 scaling 规律。论文与代码已公开,方向涉及表征对齐/普适性、scaling laws 与 superposition。