层论分解冻结模型表示:20 维内容子空间事实检索超 LEACE 17.1pp
Bryce Grant · hf · 2026-10-28
Case Western Reserve University 的 Bryce Grant 与 Peng Wang 发布论文，用胞复层（cellular sheaf）对冻结语言模型的表示做可解释性分解。
- 将每个改写（paraphrase）对视为「两个激活应当一致」的局部见证，在改写图上构建 cellular sheaf，用其拉普拉斯算子回答表示是否在不同措辞下保持相同内容。
- 图的谱导数给出内容子空间 H⁰：在冻结模型上仅需 20 维，其在八个架构的 held-out CounterFact 事实检索上平均比概念擦除方法 LEACE 的保留子空间高 +17.1pp；联合约束一个事实的所有改写再 +6.5pp。
- 谱补集集中了因果影响：消融最随措辞变化的坐标可定位脆弱性，通过调和分析揭示架构脆弱点。
为可解释性提供了「几何+谱」的新工具箱。
「研究」频道最新
- Axiom 代理给 CFSG 找出 5000 多处勘误，所幸全部可修复 — burny_tech · 2026-10-28
- 人类史上最大数学证明完成机器验证：Axiom 用 Lean 形式化 15000 页 CFSG — burny_tech · 2026-10-28
- MiRL：锁定高频错误做 RL,不到 200 环境追平终端 Agent 全量训练 — mohitban47 · 2026-10-28
- YC 初创 Wondersearch 宣称不用 embedding 和向量库，检索效果持平 OpenAI — antoine_chaffin · 2026-10-28
- AAAI/ICLR 审稿人:约半数评审疑似 AI 生成,同行评审告急 — dsmirza · 2026-10-28
- Field–Golubitsky 映射混沌吸引子图鉴:每个圆盘自带 Dₙ 对称性 — S_Conradi · 2026-10-28