Dietterich 澄清 LLM 不只是「预测下一个词」
tdietterich · x · 2026-09-25
围绕「LLM 是否只是在预测语言」的争论中，著名机器学习学者 Thomas Dietterich 回应称：监督微调和强化学习已经超越了单纯的下一个词预测，转向预测正确的多 token 答案；预训练阶段的单 token 预测主要是为了学习良好的内部表示，以及一个能生成候选解的随机生成器。这是对「人类只是 LLM 吗」这类类比争论的技术性回应。
所属事件:Dietterich：LLM不只是预测下一个词，预训练已逼出抽象泛化(2 条相关)→
「漫话AGI」频道最新
- 英国新设 AI 经济学研究所招聘15名经济学家,研究 AI 经济影响 — TaniaBabina · 2026-11-11
- Not Boring 长文：AI 具备泡沫三大特征，恰是泡沫形成的经典剧本 — Not Boring (Packy McCormick) · 2026-11-11
- 热帖：五年「再等等」之后，2026 年公司终于摊牌 — hey_abusiddik · 2026-11-11
- Jeremy Howard：LLM 是在「扮演」理解，如中文屋里的那个人 — Machine Learning Street Talk · 2026-11-11
- OpenAI 董事 Christiano：在座大多数人最可能的死因是 AI 事故 — notkilleveryoneist · 2026-11-11
- 「和你的数据聊天」是伪需求？关键差异在聪明的同事 — vboykis · 2026-11-11