块稀疏特征器新论文:视觉概念以2-4维流形存于激活空间
burny_tech · x · 2026-09-21
一篇由 Thomas Fel、Jack Merullo、Atticus Geiger 等 26 位作者(含interp圈子多位研究者)完成的 arXiv 论文《Structuring Sparsity: Block-Sparse Featurizers Capture Visual Concept Manifolds》,研究神经网络表征的几何结构:
- 核心主张:视觉概念不是激活空间中的孤立方向,而是低维流形;作者提出"表征是低维流形的稀疏叠加"这一表示假说。
- 方法:借鉴结构化稀疏文献,实现三种块稀疏特征器(Block-Sparse Featurizers, BSF),把方向分组成块,对应视觉神经科学中"特征由一组协同神经元承载"的经典思想。
- 结果:基于最小描述长度(MDL)分析,三种 BSF 都比基于方向的特征器更紧凑地描述激活,恢复出的概念通常为 2–4 维。
- 应用:用 BSF 重新解读已有可解释性工作,如 Inception 中的曲线检测器等,说明块稀疏先验能更好地刻画概念几何。
转发者特别点赞其中的"流形加性混合"表示假说。
「研究」频道最新
- 学者呼吁建 AI 主导的科学期刊:投稿评审策展全交给 AI — anshulkundaje · 2026-09-21
- Waypoint Bio：AI 制药的瓶颈在数据而非模型 — anshulkundaje · 2026-09-21
- 研究估算：LLM 出现后美国自然失业率升约 0.1-0.2 个百分点 — mattbeane · 2026-09-21
- JevBench 开源：专注类型化决策模型的评测基准 — sull · 2026-09-21
- gLM2 设计 2500 氨基酸聚酮合酶,尼龙前体产量提升约 10 倍 — anshulkundaje · 2026-09-21
- 开发者用 5 万条 SWE-bench 运行数据训练「世界模型」辅助编码 Agent — Decent-Ad9950 · 2026-09-21