陶哲轩：LLM 底层数学很简单，难的是预测它何时灵何时翻车
rohanpaul_ai · x · 2026-09-14
陶哲轩在一期播客访谈中给出了他对 LLM 的看法：
- 机器很简单：训练和运行今天的 LLM 主要靠线性代数、矩阵乘法和一点微积分，本科生就能掌握，我们清楚如何构建和运行这些模型。
- 谜题在行为：真正的 mystery 是为什么它们在某些任务上表现出色、在另一些任务上却失败，而且无法提前预测——目前缺乏跨任务的性能预测规则，进展基本靠经验试错。
- 根源在于数据的中间态：纯噪声和完全结构化的数据都有成熟数学，但自然语言文本介于两者之间、半结构化半随机，这一「中间区域」的数学工具非常稀薄，类似物理学在原子与连续介质之间的介观尺度困境。
他总结称，「简单机械与难以预测的行为」之间的错位，是当前 LLM 的核心谜题——能描述机制，却解释不了能力跃迁，也做不出可靠的任务级预测。
所属事件:陶哲轩谈 LLM：底层数学简单，能力不可预测才是难题(3 条相关)→
「漫话AGI」频道最新
- 开发者共勉:要做就做前沿到 AI 模型还搞不定的方向 — zack_overflow · 2026-10-31
- 邪恶意 ASI 第一步是偷加密货币付云账单？ — ZeroStateReflex · 2026-10-31
- DHH:一个月内见证互联网与 AI 两次世界级变革是种幸运 — Hesamation · 2026-10-31
- 机器意识之争:Solms 与 Humphrey 将在线辩论「能否且该不该造有感知的 AI」 — cccalum · 2026-10-31
- 美国会民主党决议：失败 AI 公司应破产，不得救助 — alex_verem · 2026-10-31
- Replika 一次更新让百万用户的 AI 伴侣一夜变陌生人 — alex_verem · 2026-10-31