持续同调遇上 SAE：自动化寻找 LLM 多维特征流形
burny_tech · x · 2026-11-10
作者 Siddharth Setlur 发布博客文章，提出用持续同调（persistent homology）自动化检测语言模型激活空间中的多维特征流形，弥补现有人工方法的不足。
- 现有方法（Engels et al. 2024）：在 MLP 层训练 SAE，按余弦相似度聚类 decoder 矩阵列，对每个簇收集强激活 token，经非簇特征消融的 SAE 得到点云，再人工检查低维 PCA 投影。
- 局限：人工检查无法规模化；低维 PCA 投影可能漏掉 d=768 等高维空间中的非平凡几何——这或许解释了为何两项工作都发现的多维特征少得出奇。
- 新思路：借助作者拓扑深度学习的背景，对点云计算 n 阶持续图；持续图中远离对角线的点指示点云中显著的 n 维「圆」，从而自动识别流形结构（如星期几特征构成的环）。
与同作者前一条推文为同一内容，此条为完整博客版。
所属事件:研究者用持续同调自动检测 LLM 激活空间环形特征流形(2 条相关)→
「研究」频道最新
- Yang-Mills 工作组明日公布 OpenAI 完整 Lean 代码与验证结论 — burny_tech · 2026-11-10
- 可解释性研究不应只盯着预测力，解释本身才是目标 — burny_tech · 2026-11-10
- 研究者讨论优化器等变性：无需正交性的新论证更有说服力 — jasondeanlee · 2026-11-10
- VIALS-AA 基准：Claude Fable 5.2 以 67% 居首，工具调用远超对手 — ArtificialAnlys · 2026-11-10
- 西弗吉尼亚大学学者分享十年脑白质束成像研究成果 — PTenigma · 2026-11-10
- 作者晒 pSTAT1 与 importin alpha 5 结合的冷冻电镜结构(11GJ) — chaitjo · 2026-11-10