牛津论文《Theory Is All You Need》论证：LLM 数学上无法发明任何东西
alex_verem · x · 2026-09-17
牛津学者 Teppo Felin 与 Matthias Holweg 发表论文 《Theory Is All You Need》(标题化用《Attention Is All You Need》),主张大语言模型在数学上不可能「发明」任何东西。
核心论证:
- LLM 训练约需 13 万亿 token,按人类每分钟读 150 词的速度要 16.4 万年才能读完;而儿童 5 岁前只听过约 3650 万词,却能掌握远超输入的语言能力——说明人与模型面对的是同一任务、完全不同的数据机制。
- 模型学的只是「哪些词倾向跟随哪些词」,是既有文本的镜像,没有世界运行的理论,因此无法跳出训练数据。
最锋利的思想实验:假设 1633 年用当时全部科学文本训练一个 LLM,问它日心说——数千年地心说文本会淹没伽利略,模型会判伽利略「错了」,还会认为 Brahe 的占星术比地动说更可信。飞行也一样:1888 年 LeConte 依据「50 磅以上的鸟都不会飞」断言人类不能飞行,皇家学会主席 Kelvin 与 1903 年《纽约时报》(预估飞行还需 100 万—1000 万年)都错了——九周后莱特兄弟起飞。莱特兄弟赢在有理论(升力、推进、转向三问题拆解+自建风洞生成不存在的数据),而不是更好的数据。
作者称之为「数据-信念不对称」:每个真突破都始于相信现有数据是错的,而以最小化惊喜为目标的系统在设计上做不到这一点。他们并非反 AI,承认 AI 会赢下大多数「从过去外推」的常规决策,只是反对 Kahneman 式的「能换算法就换算法」。
所属事件:牛津论文称 LLM 数学上无法产生真正创新(2 条相关)→
「漫话AGI」频道最新
- 所有系统知识都将汇入推理与硬件，AI 时代技能版图正在重写 — Abhishekcur · 2026-11-02
- 作者类比电影《永无止境》:超级智能对高智商者增益更大 — McDonaghMatthew · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- Miles Cranmer 讲座:AI 用对是苏格拉底导师,用错是大脑萎缩 — _ScottCondron · 2026-11-02
- 「自主科研只是让 Claude 看着别挂」：Yacine 讽刺 RSI 论战，Naam 估算自提升回路还差 5-10 倍 — yacineMTB · 2026-11-02
- Vitalik 提「后 AI 密码学」：假名已死，逐次匿名当立 — devanshmehta · 2026-11-02