UC Berkeley 与 DeepMind 论文:LLM 内部几何源于语言统计的平移对称性
udmrzn · x · 2026-11-20
UC Berkeley 与 Google DeepMind 研究者发表论文,解释了 LLM 表征中长期观察到的神秘几何结构——月份排成圆环、历史年份形成带波纹的一维流形、城市坐标可线性解码出经纬度地图。
核心发现:
- 这些几何并非源自 Transformer 架构或「自发世界模型」
- 连 word2vec 这样的老式词嵌入也会产生同样的圆环、时间线与地图
- 真正成因是自然语言共现统计中的「平移对称性」(如两个月词的共现概率只取决于时间间隔)
- 作者从数学上推导出表征流形的形状,实证与大规模嵌入模型吻合,且结构对统计扰动稳健
结论:模型内部的「世界模型」几何,其实是人类语言统计性质的投影。
「研究」频道最新
- DeepMind 用记忆机制强化递归自我改进,性能 68.41 升至 84.75 — Dr_Singularity · 2026-11-20
- AI 筛选抗疟药论文入选 NeurIPS Africa in AI 分会场 — madeofAjala · 2026-11-20
- TMol 论文:Rosetta 全原子能量搬进 PyTorch,H200 批处理吞吐提升 350 倍 — ArashVahdat · 2026-11-20
- 生物计算用活体神经元训练 AI,「训练中是否会痛苦」引发伦理追问 — frugal-tech-worker · 2026-11-20
- AWS 架构师独立实测:Snap 1.2 是唯一选项顺序不变模型 — ryanallred · 2026-11-20
- AtlasKV 论文:20GB 显存塞进 10 亿三元组知识图谱,告别 RAG — udmrzn · 2026-11-20