数学证明 Transformer 计算通用，但标准优化器找不到最优点
Promptmethus · x · 2026-10-09
一项研究借助 Kolmogorov 复杂度——数据完美压缩与算法泛化的数学极限——从数学上证明了 Transformer 编码器是计算通用的，即理论上存在一个模型达到完美压缩、对新数据完美泛化的数学状态。
关键转折在于：研究者构造了迫使模型逼近这个最优状态的目标函数，Transformer 完全有能力保持该状态，但标准训练优化器——与训练 ChatGPT、Claude、Gemini 所用的同一类优化器——根本找不到它。
结论：架构在理论上无懈可击，瓶颈在优化过程。这一结果对我们理解各家 AI 实验室训练方法的根本局限有启发意义。
「研究」频道最新
- PersistBench 登 NeurIPS Spotlight:4D 基础模型其实不太有视觉记忆 — weichiuma · 2026-10-09
- StarkWare 创始人:AI 解出 Erdős 单位距离问题后,数学证明已不可预测 — jamestagg · 2026-10-09
- Claude Science 生成首张完整紫外全天图，预测偏差仅约 10% — The Decoder · 2026-10-09
- FreeMatching：突破时空先验的图像编辑稠密对应匹配框架 — hkuhk · 2026-10-09
- WorldGuide：闭环任务执行的定向视频世界模型，胜 MiniMax-H3 — MBZUAI · 2026-10-09
- REMORY：用软记忆 token 补全上下文压缩，仅 5.2% 输入逼近全上下文 — Hanchen Xia · 2026-10-09