Simplex 新研究：LLM 激活中检出'伸缩锥'信念几何结构
Hidenori8Tanaka · x · 2026-09-10
Simplex（Astera Institute）发布长文《The geometry of nonergodic composition》，作者 Kyle J. Ray、Paul M. Riechers、Adam S. Shai：
- 核心问题：LLM 预训练数据由异质多来源构成，这种'非遍历性'（nonergodicity）意味着下一 token 预测任务具有特定的计算结构
- 理论推导：若网络线性表示信念，多来源数据下的信念更新应呈现'伸缩锥'（telescoping cones）几何——每个来源分量的尺度随上下文证据强弱伸缩
- 实证结果：作者用线性回归从 transformer 的残差流激活中恢复了这些伸缩锥结构，各分量随 in-context 证据增减
延续了该团队此前'LLM 线性表示信念'的发现，把隐式贝叶斯推断显式化为可测量的激活几何。
所属事件:Simplex 研究：LLM 激活中存在「伸缩锥」信念几何结构(3 条相关)→
「研究」频道最新
- 圣塔菲研究所 2027 复杂性博士后奖学金开放申请，9 月底截止 — yoavartzi · 2026-09-11
- 工程师用自我中心视频伪造机器人腕部相机画面并实测效果 — chris_j_paxton · 2026-09-11
- Lean 健全性 bug 可自动搜索？探讨 AI 证明向 ZFC 的可迁移性 — jessi_cata · 2026-09-11
- Lean AI 证明成果能否翻译到 ZFC？研究者称大体可行 — jessi_cata · 2026-09-11
- 多个周末从零造 LLM：斯坦福 CS336 课程实战复盘 — stanfordnlp · 2026-09-11
- 微软新论文 Universal YOCO:递归计算高效扩展推理深度 — donglixp · 2026-09-11