陶哲轩：LLM 底层数学很简单，难的是预测它何时灵何时翻车
rohanpaul_ai · x · 2026-09-14
陶哲轩在一期播客访谈中给出了他对 LLM 的看法：
- 机器很简单：训练和运行今天的 LLM 主要靠线性代数、矩阵乘法和一点微积分，本科生就能掌握，我们清楚如何构建和运行这些模型。
- 谜题在行为：真正的 mystery 是为什么它们在某些任务上表现出色、在另一些任务上却失败，而且无法提前预测——目前缺乏跨任务的性能预测规则，进展基本靠经验试错。
- 根源在于数据的中间态：纯噪声和完全结构化的数据都有成熟数学，但自然语言文本介于两者之间、半结构化半随机，这一「中间区域」的数学工具非常稀薄，类似物理学在原子与连续介质之间的介观尺度困境。
他总结称，「简单机械与难以预测的行为」之间的错位，是当前 LLM 的核心谜题——能描述机制，却解释不了能力跃迁，也做不出可靠的任务级预测。
「漫话AGI」频道最新
- Dario 发文呼吁放慢 AI 前沿步伐,Anthropic 承诺开放第三方安全评估 — ZeroStateReflex · 2026-09-14
- RL 大佬 Szepesvári:研究者其实盼着 AI 能自己生成洞察 — CsabaSzepesvari · 2026-09-14
- Domingos 调侃末日论者:把 AI 换成「插值」试试 — pmddomingos · 2026-09-14
- 评论：前沿AI领袖互不信任，请政府"押送"并留卡特尔豁免 — bilawalsidhu · 2026-09-14
- 认知科学家长文：网络攻击与纳维-斯托克斯求解后追问人机关系 — DistractedDendrite · 2026-09-14
- 理论计算机科学家反思:AI时代应如何平衡解题与建理论 — jasondeanlee · 2026-09-14