SAE 论文 ICA 基线存 bug 三年,修复后 ICA 找 LLM 可解释方向极强
TuhinChakr · x · 2026-10-22
研究者发现原始 SAE(sparse autoencoder)论文中的 ICA 基线存在一个评估 bug——修好后,ICA 在寻找 LLM 激活中的可解释方向上变得极具竞争力,且每层只需几分钟即可完成。作者还配了一个直观视频,解释为什么 LLM 中的可解释方向看起来非高斯分布、ICA 如何找到它们,以及这个让 ICA 被低估三年的评估 bug 的来龙去脉。这项工作是可解释性研究的重要纠错,可能改变对 SAE 与 ICA 方法的相对评价。
所属事件:修复评测bug后老方法ICA比肩SAE解释LLM激活(7 条相关)→
「研究」频道最新
- 3 个月产出 36 篇预印本，BootLoops 工具链让 AI 跨学科裂变式科研 — DeryaTR_ · 2026-10-22
- Meta 与密州大论文：LLM 推理图质量参差，错误会污染置信度分数 — rohanpaul_ai · 2026-10-22
- 新论文：一价拍卖能否在去中心化市场中高效分配 AI agent 查询 — _onionesque · 2026-10-22
- 人大 LoopRec:按条目自适应递归深度,序列推荐兼顾效率与精度 — Zhanshuo Cao · 2026-10-22
- Anthropic Agent4Sci 测评:前沿智能体提升科研模型靠工程技巧而非领域洞见 — Anthropic · 2026-10-22
- NUS 提出统一框架 PAPAV:细数计算机操作与机器人操作的五项核心能力 — showlab · 2026-10-22