teortaxes：让模型自发涌现冯·诺依曼架构受信息论根本限制
teortaxesTex · x · 2026-10-28
在关于「能否用训练方法让模型内部自然形成模块化计算机结构」的讨论中，teortaxesTex 表达悲观立场：这是一个根本性的信息论问题，仅靠堆 RL 任务或程序化生成的数据，无法让模型在电路层面自发构建出冯·诺依曼式的架构。
这一回应针对 Yacine 建议的「用 pufferlib 秒级训练做架构扫描实验」，认为快速实验解决不了问题本质。
「研究」频道最新
- DiscoTrace 论文获 EMNLP 2026 最佳论文:对比人类与 LLM 的答题策略 — rachelrudinger · 2026-10-29
- 一张红心图片就能让模型 100% 写递归代码，DeepMind 论文揭示隐式视觉引导 — dair_ai · 2026-10-29
- 新基准 CMASS 登场：5.5 亿文档语料上考验智能体搜索 — lintool · 2026-10-29
- 把蛋白质写成字母序列：Profluent 用语言模型设计基因编辑器 — nathanbenaich · 2026-10-29
- AAAI rebuttal 季到了，研究员公开自己的答辩模板 — StephenLCasper · 2026-10-29
- 学者提出「Neurovium」：神经、计算与认知的统一学科 — neurovium · 2026-10-28