普林斯顿 NeurIPS 论文:数据多样性而非架构驱动 LLM 符号推理机制涌现

burny_tech · x · 2026-11-19

普林斯顿大学 Melody Zixuan Li 与 Taylor Webb 的 NeurIPS 2026 论文研究了 LLM 中符号推理机制(symbolic mechanisms)究竟由架构还是训练数据驱动。核心发现:- 团队从零开始在抽象序列任务上训练神经网络,用表征、注意力和因果中介分析确认 transformer 语言模型确实发展出了符号机制。- 在多个数据多样性维度上,多样性越高,符号特征签名越强。- 出人意料的是,修改后的 transformer 架构甚至多层感知机(MLP)也出现了同样的签名,说明架构归纳偏置并非符号机制涌现的必要条件。- 实体-属性绑定任务中也观察到一致模式。结论:数据多样性、而非架构,是神经网络中符号计算涌现的主要驱动因素。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →