组合与叠加不互斥：不同稀疏度下干扰代价各有优劣
livgorton · x · 2026-10-16
livgorton 线程第 12 条：组合（composition）与叠加（superposition）并不互相排斥，她完全预期神经网络会同时使用两者。取决于特征共同出现的程度和稀疏性，两者有不同的权衡。
她指出，在某些机制下，组合引入的特征干扰会远比叠加更严重——因此不能像那篇文章那样用组合来否定叠加的存在。
所属事件:Anthropic 研究员逐条反驳「神经元被低估」论文的叠加质疑(11 条相关)→
「研究」频道最新
- 移除 Gemini 后相关性从 0.20 升至 0.96：通用能力与机器人能力高度挂钩 — ycombinator · 2026-10-16
- EPFL 用 RFdiffusion 设计变形蛋白,单序列可折叠两种构象 — ferruz_noelia · 2026-10-16
- 通过操纵「地位感」观察模型行为,作者续谈夺权反事实推断 — jd_pressman · 2026-10-16
- 新基准测「对齐伪装」模型：五种检测法中一种识别率高达 98% — jd_pressman · 2026-10-16
- MLP 神经元可解释性六年研究脉络:一帖梳理关键论文 — aryaman2020 · 2026-10-16
- 新组首篇预印本:预测性网格细胞编码无需显式规划 — tweetsatpreet · 2026-10-16