可解释性新观察：神经元越「多义」，负责的概念可能越相近
Sauers_ · x · 2026-10-17
作者 Sauers 提出一个关于神经元多义性（polysemanticity）的猜想：如果一个神经元承担多个功能，理想情况下这些功能对应的概念应该彼此更相似——比如一个神经元做两件事时概念可能无关，但如果它做 8 件事，这 8 件事大概率是彼此相近的概念。配图数据部分支持这一直觉：按「每个神经元关联特征数」分桶后，神经元自身特征间的相似度在 association 分析中随特征数增加而下降（10+ 桶降至随机水平附近），但在 knockout（单极）分析中 6-9 桶出现 65 百分位的相似度峰值，高于随机特征对基线。
「研究」频道最新
- RoboMME 登顶：全量视觉历史塞进上下文，Astra 92.1% 超人类基线 — hankyang94 · 2026-10-17
- OpenADMET PXR 结构预测挑战复盘：共折叠找对构象依然很难 — anshulkundaje · 2026-10-17
- 研究者感慨引用机制天然不对称：被引无上限，引文有上限 — arjunrajlab · 2026-10-17
- 超参一换结论反转：lr=1e-5 时 RMU 胜，lr=5e-5 时 KL Min 胜 — _vztu · 2026-10-17
- 微调注入的假知识一个 epoch 就崩，预训练真实知识消退慢得多 — _vztu · 2026-10-17
- HySparse 2 架构被称「DeepSeek 味」,SWA 成稀疏注意力标配 — eliebakouch · 2026-10-17