DeepMind 研究员哈佛开讲：语言共现统计如何催生大模型表征几何
yasamanbb · x · 2026-11-04
Google DeepMind 研究员 Yasaman Bahri 将于 11 月 4 日下午 2 点在哈佛 CMSA「数学新技术」研讨系列线上开讲，主题为表征几何与自然语言统计之间的联系。
报告摘要要点：
- 大语言模型会把内部表示组织成丰富的几何结构，映射自然语言概念：类别概念常对应线性方向，带空间/时间语义的词与短语则蜿蜒成流形
- 这些几何结构在不同架构与训练算法间普遍涌现，是理解模型如何完成计算的关键
- 报告追根溯源：从更简单的经典词嵌入方法入手，构建基于自然语言共现统计的理论框架，其预测与实证发现高度吻合
- 该工作为此前关于表征几何的诸多观察提供了统一解释，并为后续理论发展奠定严格基础
「研究」频道最新
- 梯度封印防遗忘学习失效：让开源模型发布后也难被微调出危险能力 — burkov · 2026-11-04
- 新方法从零分模型预测基准成绩:算力省 5600 倍,误差 3 分内 — kenziyuliu · 2026-11-04
- 团队 2 天半烧 100 亿 token 打造全城级世界模型 Omniscience — Kuprel · 2026-11-04
- 伯克利团队提出 Data Inoculation：用 RL 在采数据时就提升质量 — berkeley_ai · 2026-11-04
- Map2Video：用地图和街景控制真实地点的 AI 视频生成 — ryosuzk · 2026-11-04
- Xudong Sun 获 SIGOPS Dennis M. Ritchie 博士论文奖荣誉提名 — LingmingZhang · 2026-11-04