研究者逐条回应超叠加质疑：几何、干扰与递归泛化之争
livgorton · x · 2026-10-16
Liv Gorton 发长线程回应一篇质疑超叠加（superposition）的论文观点，要点：
- 超叠加是几何主张：一层通过近似正交方向表示比维度更多的特征，特征稀疏使干扰可容忍。d 维空间只有 d 个正交方向，却有指数级多的近似正交方向，网络利用这种容量并不"激进"。
- 反相关特征叠放成本尤其低：语义相关性不是关键，相关但互斥的特征干扰小，也会被叠放。
- 相关特征同样可共享空间：偏好正向干扰而非负向，近期研究发现干扰可以是建设性的，塑造真实模型中的簇与循环。
- 递归泛化（神经元从"iy"泛化到"do it yourself"）是学习动力学主张而非几何，不算超叠加的替代方案；但要区分嵌套特征用于下游计算，仍需某种区分机制，超叠加不是唯一候选但是最简单的。
- 文中自己的读出机制在她看来很像超叠加。
所属事件:Anthropic 研究员逐条反驳「神经元被低估」论文(14 条相关)→
「研究」频道最新
- 可解释性研究者泼冷水：模拟不了神经元就不算真正解释了它 — nabla_theta · 2026-10-16
- MLP-Splatting 论文开源:用光场原语替代高斯泼溅 — AjdDavison · 2026-10-16
- 四页短文解 subcubic 全对最短路径，借力 Anthropic AI 参与的突破 — gautamcgoel · 2026-10-16
- 浙大等团队发布 ATAS 框架：用世界状态记忆实现一致性长视频生成 — CSProfKGD · 2026-10-16
- 4B 模型加 8K 上下文堆算力反而更差，Hermes 提出上下文推理新思路 — mangahomanga · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16