论文证明语言统计对称性决定模型表示的几何结构
burny_tech · x · 2026-10-27
arXiv 论文《Symmetry in language statistics shapes the geometry of model representations》(Karkada、Korchinski、Wyart、Bahri 等)：
- 语言模型内部表示普遍呈现几何结构：日历月份排成圆环、历史年份构成一维流形、城市经纬度可被线性探针解码。
- 作者首先证明语言共现统计具有平移对称性——任意两个月份的共现频率只取决于它们的时间间隔。
- 理论证明这种对称性支配高维词嵌入中的几何结构，并解析推导出词表示流形的形状；预测与大型文本嵌入模型和 LLM（含 Gemma 2 2B 内部激活）实证吻合。
- 即使扰动统计（如删除所有两月份共现的句子），中等嵌入维度下表示几何仍保持；当共现统计由潜在变量控制时，这种鲁棒性自然涌现。
- 结论：表示流形源于自然语言的统计对称性。
所属事件:论文称语言统计对称性塑造模型表征几何(2 条相关)→
「研究」频道最新
- Lean 软件验证大会 SVIL 11 月落地斯坦福,Tegmark 与 Lean 之父亲自开讲 — wellecks · 2026-10-27
- LLM2Cert 发布:LLM+Lean 自动合成安全证书,105 个系统通过 77% — wellecks · 2026-10-27
- FSPO：函数空间时间自蒸馏让 7B/8B 模型推理训练更快更省 — IITK · 2026-10-27
- KAIST DiscoDemo：用 RL 生成多样化机器人演示，真机成功率 39%→78% — DAVIAN-Robotics · 2026-10-27
- AI Evaluator Forum 发布 AEF-1：第三方模型评测的独立性最低标准 — RishiBommasani · 2026-10-27
- 「模型育种」实验开场：组合特定神经元能让 Qwen 自认是饼干怪 — yacineMTB · 2026-10-27