MLP 在聚类回归中自发学习单义神经元论文引关注

burkov · x · 2026-09-07

这篇论文挑战了「神经网络学习全局低维预测子空间」的传统解释。对于来自多个聚类的数据——每个聚类有自己的预测方向和响应函数——局部预测可以很简单,但各聚类方向合起来张满整个环境维度,不存在有用的全局低维结构。

论文研究标准 MLP 在这种聚类回归设定下的表现,发现网络会发展出另一种特征学习形式:单个神经元变得单义(monosemantic),每个神经元与某一个特定聚类的预测方向强对齐,从而同时发现潜在聚类结构和各自的预测规律。