修复评测bug后老方法ICA比肩SAE解释LLM激活

马里兰大学团队(Sida Liu、Feijiang Han、Sarah Wiegreffe、Furong Huang)发布 arXiv 论文「Non-Gaussianity Reveals Interpretable Directions」及配套工具 ICA Lens,重新审视几十年历史的经典统计方法独立成分分析(ICA)在解释 LLM 激活上的表现,发现早期一篇有影响力的 SAE(sparse autoencoder)论文的评测代码存在 bug,显著低估了 ICA 的可解释性,值得社区关注。

已确认

• 修正评测 bug 后,ICA 在 GPT-2 Small、Gemma 2 2B、Qwen 3.5 9B Base 上,于可解释性、稀疏重建、概念预测等指标上与公开 SAE 基线不相上下,颇具竞争力。
• ICA 每层只需几分钟即可完成分解,解释激活所需内存比 SAE 省 7-43 倍。
• 团队发布可解释性工具 icalens,可通过 pip install icalens 直接使用,并附论文、网站与 GitHub 仓库;该工具将经典基于 CPU 的 ICA 实现改为 GPU 加速拟合,并提供早停规则,便于可解释性研究使用。
• 实测对 Qwen 残差分解后,城市与法国等特征清晰可读,展示了多种机制可解释性「Lens」工具的配合用法。
• TuhinChakr 转述指出,该 SAE 论文中的 ICA 基线 bug 已存在三年,修复后 ICA 在寻找 LLM 激活中的可解释方向上极具竞争力;论文作者还配了直观视频解释相关原理。

为什么重要

• SAE 是当前 LLM 可解释性研究的主流工具,但训练成本与内存开销较大;若 ICA 修复评测后即可比肩 SAE,可解释性研究的工具门槛与算力成本有望大幅降低,icalens 也让上手更为便捷。
• 该事件也提醒社区:长期被引用的基线结果可能因代码 bug 而失真,复现与审查旧评测对领域结论的可信度至关重要。

2026-10-21 ~ 2026-10-22 · 7 条相关

• 老方法 ICA 重焕生机：解释 LLM 激活比 SAE 省内存 7-43 倍 — feijianghan · 2026-10-21
• 【源头】修复早期评测 bug 后发现:老牌 ICA 可比肩 SAE 做可解释性 — furongh · 2026-10-21
• ICA Lens 实战：Qwen 残差分解后，城市与法国特征清晰可读 — furongh · 2026-10-21
• SAE 论文 ICA 基线存 bug 三年,修复后 ICA 找 LLM 可解释方向极强 — TuhinChakr · 2026-10-22
• 【源头】ICA Lens：不训练 SAE，直接找非高斯方向即可解释语言模型激活 — sarahwiegreffe · 2026-10-22
• 【源头】UMD 团队发布 icalens：GPU 加速 ICA 拟合与早停规则助力可解释性研究 — sarahwiegreffe · 2026-10-22

另有 1 条近重复转述:furongh