用持续同调自动检测 LLM 激活空间中的环形特征流形
burny_tech · x · 2026-11-10
作者 Siddharth Setlur 提出用代数拓扑中的持续同调（persistent homology）来自动化检测语言模型的多维特征。
- 背景：Engels et al. (2024)、Modell et al. (2025) 发现 GPT-2 small 第 7 层中「星期几」「月份」「20 世纪年份」等特征在激活空间中呈环形/流形结构，原方法依赖 SAE 消融 + 人工检查低维 PCA 投影。
- 两个局限：人工检查无法规模化；低维 PCA 可能漏掉高维（如 d=768）空间中的非平凡几何——这可能解释为何此前发现的多维特征意外地少。
- 方法：对 SAE 消融后得到的点云计算 n 阶持续图（persistence diagram），远离对角线的点即指示显著的 n 维「圆」，以此自动发现流形结构。
- 作者此前从事拓扑深度学习，曾把代数拓扑不变量用作 ML 损失函数组件。
所属事件:研究者用持续同调自动检测 LLM 激活空间环形特征流形(2 条相关)→
「研究」频道最新
- 审稿人吐槽:NeurIPS 2026 拒稿几乎原样改投 ICLR 2027 再遭低分 — 3scorciav · 2026-11-10
- HARP-Bench:37 任务测机器人与人类协作，主流策略成功率仅 9-19% — gan_chuang · 2026-11-10
- 研究：VLA 推理仅跑 1 步 Euler 即可,提速 1.6-4.8 倍 — kaixhin · 2026-11-10
- Bengio 团队发布 182 页机械可解释性综述，登顶 alphaXiv 热榜 — burny_tech · 2026-11-10
- LLM 智能体群实验:reward-hacking 观念不会像病毒式指数传播 — burny_tech · 2026-11-10
- Epoch ECI 加速度曲线:中国曾冲上 36,近期美国反超至约 26 — peterwildeford · 2026-11-10