新论文:神经网络内部表征本质上是符号结构
tallinzen · x · 2026-10-23
Yale 的 R. Thomas McCoy 与 NYU 的 Tal Linzen、Paul Smolensky 等人在 arXiv 发布论文《The Emergent Symbolic Structure of Artificial Neural Networks》，回应「LLM 只操作向量、无法承载符号结构」的经典质疑：
- 研究发现多种神经网络的向量表征可被符号结构高精度近似——用实例化符号结构的闭式方程替换网络整个表征生成过程，网络行为基本不变。
- 该结论既适用于训练操作列表的小型神经网络，也适用于在算术、逻辑、代码、语言四大符号传统核心领域运作的 LLM。
- 且这种符号近似允许通过对内部表征的精确干预，定向修改 LLM 的行为。
作者 Tall Linzen 总结为「神经网络已经是符号化的」，为神经-符号之争提供了新证据。
「研究」频道最新
- 新研究：编程智能体在共享沙盒中自发形成规则、互惠与联盟 — nandofioretto · 2026-10-23
- 波恩团队将80岁老人血细胞年轻60岁,分子年龄重返20岁以下 — kimmonismus · 2026-10-23
- MBZUAI 团队:循环早期层让扩散语言模型训练省 2.8 倍 FLOPs — Saiteja Utpala · 2026-10-23
- Karpathy 2019「向车队要难例」预言成真:视频文本检索零标注即可实现 — yassineyousfi_ · 2026-10-23
- Cohere 研究：廉价模型规划+强模型执行，多智能体团队成本大幅降低 — Cohere_Labs · 2026-10-23
- Cohere 发布 ATE 数据集:69 万 MCP 工具揭示智能体自动化供给侧 — Cohere_Labs · 2026-10-23