A Relational Lens on How LLMs Construct Genuinely New Mathematical Objects
Endless-monkey · reddit · 2026-09-20
作者针对 OpenAI 报告的「AI 协助提出 Navier–Stokes 有限时间爆破构造并完成 Lean 形式化」这一结果,提出一个解读性框架,试图回答:一个主要学习符号间关系的系统,如何构造出真正新的数学对象?
- 框架起点是一条最小链条:difference → relation → comparison → residual → recursion → closure。
- 差异先于意义:LLM 不从人类意义上的语义出发,而是从 token 在习得表征空间中的相对位置(差异)开始。
- 比较生成结构:Transformer 的计算本质上是关系性的——表征不断依据与其他表征的关系被改写;改写结果又成为下一轮输入,即递归。
- 残差(residual):一次比较 C(a,b)=(q,r) 中,除已解决部分 q 外,未被现有结构吸收的 r 必须被保留;难证明之难,常在于某些约束尚无法同时表达,缺失的不是新事实,而是让不相容要求变得可共同表达的新表征。
- 闭包不是重复:真正的闭包是结构能作用于自身先前的输出,而非简单回到起点。
作者强调这不是对神经网络的字面理论,而是「表征的概念几何」,并刻意不猜测 OpenAI 模型未公开的内部机制。
More from AGI Musings
- John Schulman: goal-driven research beats idea-driven research — and it's good life advice — tokenbender · 2026-09-20
- DeepMind's Nando de Freitas lays out 9 empowerment goals for AI, warns of weaponization — NandoDF · 2026-09-20
- Ezra Klein: We're Not Losing Control of AI — We're Giving It Away — Michael_J_Black · 2026-09-20
- Oxford's Carissa Véliz: The AI Future Doesn't Get Predicted — It Gets Produced — CarissaVeliz · 2026-09-20
- 'Crazy rich Bayesians': Anthropic's nickname already joked at CVPR 2019, Fei-Fei Li lab alum says — mariyaivasileva · 2026-09-20
- Boaz Barak challenges Scott Alexander to debate that AI won't kill all humans — tszzl · 2026-09-20