普林斯顿 NeurIPS 论文:数据多样性而非架构驱动 LLM 符号推理机制涌现
burny_tech · x · 2026-11-19
普林斯顿大学 Melody Zixuan Li 与 Taylor Webb 的 NeurIPS 2026 论文研究了 LLM 中符号推理机制(symbolic mechanisms)究竟由架构还是训练数据驱动。核心发现:- 团队从零开始在抽象序列任务上训练神经网络,用表征、注意力和因果中介分析确认 transformer 语言模型确实发展出了符号机制。- 在多个数据多样性维度上,多样性越高,符号特征签名越强。- 出人意料的是,修改后的 transformer 架构甚至多层感知机(MLP)也出现了同样的签名,说明架构归纳偏置并非符号机制涌现的必要条件。- 实体-属性绑定任务中也观察到一致模式。结论:数据多样性、而非架构,是神经网络中符号计算涌现的主要驱动因素。
「研究」频道最新
- Berkeley 团队开源 StreamEmbed:屏幕历史检索提速3.7倍且全本地运行 — berkeley_ai · 2026-11-19
- NAACL RAF 开放 2026-2027 资助申请,5 月 6 日截止 — keviv9 · 2026-11-19
- 开源 Indic 脏话检测模型:12 种印度语言 + 英语,CPU 上每条评论 4ms — sudalairajkumar · 2026-11-19
- MAVE:从电影镜头重建可编辑 3D 场景,直接在 Blender 内使用 — bdsqlsz · 2026-11-19
- NAACL 2027 学生研究工作坊征稿,截稿 2027 年 1 月 11 日 — keviv9 · 2026-11-19
- 260份文档实测:Gemini 3.8 Flash 以94.6分登顶文档抽取榜 — refractr · 2026-11-19