老方法 ICA 重焕生机：解释 LLM 激活比 SAE 省内存 7-43 倍
feijianghan · x · 2026-10-21
作者团队重新审视了数十年历史的独立成分分析（ICA），发现它在解释 LLM 激活方面表现出人意料地好。
- 在 GPT-2 Small、Gemma 2 2B 和 Qwen 3.5 9B Base 上，ICA 在可解释性、稀疏重建、概念预测和定向探针扰动等方面与公开 SAE 相当
- 每层拟合仅需数分钟，参数内存占用比 SAE 少 7-43 倍
- 发布开源工具 ICA Lens（pip install icalens），可快速发现、标注和评估残差流中可解释方向，无需再训练词典
- 配图展示了组件 C575 负尾的 logit-lens 分析：该方向与「法国/French/Paris」等多语言地理概念相关，偏度 -4.52、超额峰度 62.90
结论：非高斯性是高效寻找可解释方向的有用归纳偏置，这个老基线值得被重新重视。