牛津论文《Theory Is All You Need》论证：LLM 数学上无法发明任何东西
alex_verem · x · 2026-09-17
牛津学者 Teppo Felin 与 Matthias Holweg 发表论文 《Theory Is All You Need》(标题化用《Attention Is All You Need》),主张大语言模型在数学上不可能「发明」任何东西。
核心论证:
- LLM 训练约需 13 万亿 token,按人类每分钟读 150 词的速度要 16.4 万年才能读完;而儿童 5 岁前只听过约 3650 万词,却能掌握远超输入的语言能力——说明人与模型面对的是同一任务、完全不同的数据机制。
- 模型学的只是「哪些词倾向跟随哪些词」,是既有文本的镜像,没有世界运行的理论,因此无法跳出训练数据。
最锋利的思想实验:假设 1633 年用当时全部科学文本训练一个 LLM,问它日心说——数千年地心说文本会淹没伽利略,模型会判伽利略「错了」,还会认为 Brahe 的占星术比地动说更可信。飞行也一样:1888 年 LeConte 依据「50 磅以上的鸟都不会飞」断言人类不能飞行,皇家学会主席 Kelvin 与 1903 年《纽约时报》(预估飞行还需 100 万—1000 万年)都错了——九周后莱特兄弟起飞。莱特兄弟赢在有理论(升力、推进、转向三问题拆解+自建风洞生成不存在的数据),而不是更好的数据。
作者称之为「数据-信念不对称」:每个真突破都始于相信现有数据是错的,而以最小化惊喜为目标的系统在设计上做不到这一点。他们并非反 AI,承认 AI 会赢下大多数「从过去外推」的常规决策,只是反对 Kahneman 式的「能换算法就换算法」。
所属事件:牛津论文称 LLM 数学上无法产生真正创新(2 条相关)→
「漫话AGI」频道最新
- Nikita Bier 观点:AI 将终结商品大规模标准化时代 — ericwdolan · 2026-09-17
- 开源冲击下 AI 公司被迫狂奔，作者称或将需政府介入安全 — NathanpmYoung · 2026-09-17
- Delip Rao 吐槽：从 CoT 到 System 2，AI 圈只会套用时髦术语 — deliprao · 2026-09-17
- 计算理论学者 Fortnow：主张全部发表，好内容靠AI搜索浮现 — fortnow · 2026-09-17
- Dario Amodei 称 AI 进展是「警告信号」需要放慢，遭社区强烈反弹 — QuixiAI · 2026-09-17
- Nathan Robinson 呼吁：AI 产品伤人时应追究高管刑事责任 — GaryMarcus · 2026-09-17