Simplex 新研究:从理论推导出激活的"多维特征"几何结构
livgorton · x · 2026-09-10
Simplex 团队发布新工作,探讨由多来源混合数据训练的 LLM,其激活值应具备怎样的结构。
- 核心结论:在关于数据结构的自然假设下,基于该类数据的信念几何会形成"望远镜锥"(telescoping cones)结构,而 Transformer 能够表征这一结构。
- 这为可解释性领域近年"激活是稀疏线性组合的多维特征"的观点提供了理论层面的推导路径,而非仅靠经验观察。
- ericjmichaud 转发时评价:这从理论出发、在自然假设下推出了该基础图景,是 Cool work。
所属事件:Simplex 研究：LLM 激活中存在「伸缩锥」信念几何结构(3 条相关)→
「研究」频道最新
- 圣塔菲研究所 2027 复杂性博士后奖学金开放申请，9 月底截止 — yoavartzi · 2026-09-11
- Lean 健全性 bug 可自动搜索？探讨 AI 证明向 ZFC 的可迁移性 — jessi_cata · 2026-09-11
- Lean AI 证明成果能否翻译到 ZFC？研究者称大体可行 — jessi_cata · 2026-09-11
- 新型推理努力控制方案曝光：分级 GRPO 训练引热议 — stochasticchasm · 2026-09-11
- 多个周末从零造 LLM：斯坦福 CS336 课程实战复盘 — stanfordnlp · 2026-09-11
- 微软新论文 Universal YOCO:递归计算高效扩展推理深度 — donglixp · 2026-09-11