Attribution Graph 证据遭质疑：SAE 方法系统性偏向「碎片化回路」

banburismus_ · x · 2026-10-18

@banburismus 指出：若 attribution graph 是「回路随规模变难」的主要证据，那么新工作表明这更像 SAE 的系统性方法问题——SAE 持续让研究者偏向于找不到结构、只看到碎片化的 bag-of-features「回路」，而换一种方式观察（如流形表示）往往能发现更多结构。

附带的 arXiv 论文《Structuring Sparsity: Block-Sparse Featurizers Capture Visual Concept Manifolds》给出实证：作者提出三种块稀疏特征化器（BSF），用最小描述长度分析证明它们比基于方向的特化器更紧凑地描述激活，恢复的概念通常是 2-4 维低维流形，呼应视觉神经科学中「特征由神经元群协同承载」的经典观点。