Simplex 新研究:LLM 激活中的信念几何呈「套叠锥形」结构
fatihdin4en · x · 2026-09-11
Simplex 团队在 LessWrong 发布关于 LLM 内部表征的新工作(非各态历经/nonergodic 视角):训练数据由众多来源混合而成,研究探讨此时激活应呈现什么结构,发现数据上的信念几何会形成「套叠锥形」(telescoping cones),且 transformer 确实表征了这种结构。
作者特别邀请社区讨论,认为这项工作对关注模型内部机制(model internals)理解的人尤其有价值。
所属事件:Simplex 研究:LLM 激活中存在「伸缩锥」信念几何结构(3 条相关)→
「研究」频道最新
- 告别偏差-方差权衡?过参数化机器学习理论综述 — udmrzn · 2026-09-11
- OpenAI 构造湍流解证明 Navier-Stokes 有限时间爆破,GPT-6 辅以 Lean 验证 — burny_tech · 2026-09-11
- TDDN 融合 DINOv3 与 CleanDIFT,密集预测精度超 CLIP 三倍 — udmrzn · 2026-09-11
- 研究者给果蝇「电极通脑」强制刷 FlyTok:制造最快乐的苍蝇 — DynamicWebPaige · 2026-09-11
- NeurIPS 2026 向全体作者发偏好表,自选三地演讲地点 — NeurIPSConf · 2026-09-11
- 又一个模型转向 Muon:行业观察称其正成为训练默认优化器 — stochasticchasm · 2026-09-11