LLM 几何流形源于数据统计,非复杂动力学
burny_tech · x · 2026-08-28
Toby Ord 的新论文 "Symmetry in language statistics shapes the geometry of model representations" 解决了一个可解释性难题。研究表明,LLM 内部形成的几何形状(如时间线螺旋)并非源于复杂的学习动力学,而是训练语料库中平移对称性的基本数据统计特征迫使数学结构自然形成。
「研究」频道最新
- 新框架 MATM:跨多智能体群体共享轨迹知识,无需联合训练 — 841io · 2026-08-28
- 探讨多智能体协作中的信息共享与子任务处理 — 841io · 2026-08-28
- 解读 ML 指标中的奇点:无限视界不代表无限工作量 — tobyordoxford · 2026-08-28
- EMNLP 2026 接收论文:用层交换重审多语言推理差距 — IgorCarron · 2026-08-28
- Toby Ord:智能指标未必要饱和,或可趋近无穷 — tobyordoxford · 2026-08-28
- ConforNets 机制让 AlphaFold3 生成多样化蛋白质构象 — jajoosam · 2026-08-28