把语言模型看作自然语言程序的叠加态：一层常数深度解释一切
willcb · x · 2026-10-16
willcb 提出一个思考框架：与其把语言模型当程序库，不如把它看作「自然语言程序的叠加态」，训练的结果是为你的数据分布编译出一门最优 DSL。
他引用一篇自己最喜爱的现代论文展开解释：电路复杂度里「电路族」指每个输入规模 N 对应一个电路 CN；所谓常数深度（constant depth）是指 transformer 层数不随输入变大而增长，只需 embedding 维度（对数级）和相应长度的 CoT 增长，而 CoT 长度只需等于电路 CN 的规模。这意味着可以把整个电路族压缩进单个 transformer，只要上下文长度覆盖最大 N 对应的 CN（N < exp(embed dim)）即可对所有输入生效。
他称这篇论文「基本完整解释了为什么 transformer 赢了，以及为什么 RL 会成为这一架构的正确训练算法」。
所属事件:CoT 理论论文走红：解释 Transformer 为何胜出(2 条相关)→
「研究」频道最新
- UCSD团队提出数据集水印法，仅凭API输出即可检测训练数据盗用 — yuxiangw_cs · 2026-10-16
- EmbodiedEvo 让 Agent 传承经验：登顶 RoboDojo 榜单 — Aiden_Tech_Ai · 2026-10-16
- 审稿人吐槽 CHI 论文 Discussion 普遍不引用文献 — IanArawjo · 2026-10-16
- 研究者驳「理解神经元即理解网络」：误差会复合放大 — StephenLCasper · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16
- Agentic Search 只奖励最终答案，推理步骤是否忠实成疑 — burkov · 2026-10-16