ICA Lens：不训练 SAE，直接找非高斯方向即可解释语言模型激活
sarahwiegreffe · x · 2026-10-22
UMD 团队（Sida Liu、Feijiang Han、Sarah Wiegreffe、Furong Huang）发布 arXiv 论文「Non-Gaussianity Reveals Interpretable Directions in Language Models」。
核心发现：自然文本残差流激活沿 SAE 解码器方向的投影分布比随机方向显著更非高斯——多数上下文形成集中的背景，而反复出现的模式常占据一个尾部。非高斯性本身就是可解释方向的统计签名。
方法：既然可解释方向倾向非高斯投影分布，能否不训练稀疏字典、直接在激活空间中搜索非高斯方向？团队据此推出 ICA Lens 工作流，覆盖非高斯方向的高效发现、可靠标注与忠实评估。
结果：在 GPT-2 Small、Gemma 2 2B、Qwen 3.5 9B Base 上，恢复出的非高斯方向在人工与 LLM 评估下均呈现连贯的词汇、句法与语义模式。工具已开源：pip install icalens，附论文、网站与 GitHub。
所属事件:修复评测bug后老方法ICA比肩SAE解释LLM激活(7 条相关)→
「研究」频道最新
- NXAI 开源 KronLSTM:Kronecker Delta 规则线性注意力模型与 Triton 内核 — gklambauer · 2026-10-22
- 用 Bregman 散度选分块：φ(u)=u³ 与 u^1.5 导出截然不同的四块分区 — michaelchchoi · 2026-10-22
- MIT 用脂质纳米颗粒体内编程 NK 细胞，跳过体外制造 — MacrinePhD · 2026-10-22
- 新预印本提出 AI 生物事件后的「Break-Glass」应急监管方案 — davidmanheim · 2026-10-22
- Lafa：8B 参数流语言模型追平自回归质量，吞吐量提升 2.5 倍 — AdtRaghunathan · 2026-10-22
- 新论文:用 ODE 积分器片段构建 SMC 采样框架,可自动调 HMC 参数 — michaelchchoi · 2026-10-22