修复早期评测 bug 后发现:老牌 ICA 可比肩 SAE 做可解释性
furongh · x · 2026-10-21
furongh 团队发布 ICA Lens:用几十前的经典统计方法 ICA(独立成分分析)解读语言模型激活,发现早期一篇有影响力的 SAE 论文的评测代码存在 bug,显著低估了 ICA 的可解释性表现;修正后 ICA 与 SAE 相当具有竞争力,且训练成本远低于拟合 SAE 字典,无需再训练稀疏字典。
- 开源工具:pip install icalens,支持 base 与指令微调模型
- 功能:加载已发布的 Lens 做 token 级交互分析、支持对话格式分析、可用 ICA 坐标做 steering(生成偏移或钳制)
- 提供 GPT-2 small 及 Qwen3.5-2B 等预训练 Lens 集合,支持导出独立 HTML 分析视图
所属事件:修复评测bug后老方法ICA比肩SAE解释LLM激活(7 条相关)→
「研究」频道最新
- 3 个月产出 36 篇预印本，BootLoops 工具链让 AI 跨学科裂变式科研 — DeryaTR_ · 2026-10-22
- Meta 与密州大论文：LLM 推理图质量参差，错误会污染置信度分数 — rohanpaul_ai · 2026-10-22
- 新论文：一价拍卖能否在去中心化市场中高效分配 AI agent 查询 — _onionesque · 2026-10-22
- 人大 LoopRec:按条目自适应递归深度,序列推荐兼顾效率与精度 — Zhanshuo Cao · 2026-10-22
- Anthropic Agent4Sci 测评:前沿智能体提升科研模型靠工程技巧而非领域洞见 — Anthropic · 2026-10-22
- NUS 提出统一框架 PAPAV:细数计算机操作与机器人操作的五项核心能力 — showlab · 2026-10-22