8年研究：LLM 表征隐含符号结构，泛化与乘法式编码相关
jm_alexia · x · 2026-09-06
RTomMcCoy 团队历时 8 年的新论文发现，LLM 的内部表征具有隐含的符号结构，这解释了为何神经网络模型能在语言、代码、数学等符号领域表现出色。
- 关键结论：擅长在组合空间（约 10^10 量级）上泛化的模型，其表征呈现乘法式（multiplicative）结构；
- 反之，泛化差的模型倾向于把对象「记住」为线性方向（linear directions），这种编码方式阻碍泛化；
- 论文还指出 next-token-prediction 范式与 embedding 范式在表征组织上有本质差异。
该工作由引用者 jmalexia 转发传播，核心发现指向「LLM 并非与符号系统截然对立，而是隐式实现了符号结构」。
「研究」频道最新
- 新论文揭示统一多模态模型理解与生成能力何时真正互益 — liuziwei7 · 2026-09-06
- 谷歌工程师论文：对齐需多智能体协作，孤立训练本质不足 — sebkrier · 2026-09-06
- Langford 讨论 Transformer 深层信息丢弃与梯度下降的架构含义 — JohnCLangford · 2026-09-06
- 又一个反例：图记忆在 LongMemEval 上输给平面向量基线 — CShorten30 · 2026-09-06
- Liquid AI 2.6B 模型刷新化学合成 SOTA,超越前沿 LLM 27% — JosephJacks_ · 2026-09-06
- H-对偶现象有了统一理论，步长反转催生新优化算法 — prof_grimmer · 2026-09-06