老方法 ICA 秒杀预期:每层几分钟可解释 LLM 激活,内存省 7-43 倍
furongh · x · 2026-10-22
研究者重新审视了几十年前的统计方法独立成分分析(ICA),发现它在解释 LLM 激活方面远超预期,甚至与公开 SAE 基线不相上下。
- 在 GPT-2 Small、Gemma 2 2B、Qwen 3.5 9B Base 上,ICA 在可解释性、稀疏重构、概念预测和定向探针扰动上与公开 SAE 具有竞争力
- 效率优势明显:每层只需几分钟拟合,参数内存少 7-43 倍
- 团队还发现一个评估 bug,导致 ICA 三年来一直被低估;并解释了为什么 LLM 中的可解释方向呈非高斯分布,ICA 为何适用
- 已开源 ICA Lens 工具,可快速发现、标注和评估残差流中的可解释方向,无需再训练字典
所属事件:修复评测bug后老方法ICA比肩SAE解释LLM激活(7 条相关)→
「研究」频道最新
- 3 个月产出 36 篇预印本，BootLoops 工具链让 AI 跨学科裂变式科研 — DeryaTR_ · 2026-10-22
- Meta 与密州大论文：LLM 推理图质量参差，错误会污染置信度分数 — rohanpaul_ai · 2026-10-22
- 新论文：一价拍卖能否在去中心化市场中高效分配 AI agent 查询 — _onionesque · 2026-10-22
- 人大 LoopRec:按条目自适应递归深度,序列推荐兼顾效率与精度 — Zhanshuo Cao · 2026-10-22
- Anthropic Agent4Sci 测评:前沿智能体提升科研模型靠工程技巧而非领域洞见 — Anthropic · 2026-10-22
- NUS 提出统一框架 PAPAV:细数计算机操作与机器人操作的五项核心能力 — showlab · 2026-10-22