Dietterich 澄清 LLM 不只是「预测下一个词」
tdietterich · x · 2026-09-25
围绕「LLM 是否只是在预测语言」的争论中，著名机器学习学者 Thomas Dietterich 回应称：监督微调和强化学习已经超越了单纯的下一个词预测，转向预测正确的多 token 答案；预训练阶段的单 token 预测主要是为了学习良好的内部表示，以及一个能生成候选解的随机生成器。这是对「人类只是 LLM 吗」这类类比争论的技术性回应。
所属事件:Dietterich：LLM不只是预测下一个词，预训练已逼出抽象泛化(2 条相关)→
「漫话AGI」频道最新
- 学者推荐 AI「自愿奴役」论文：对自愿服从论证的有力梳理 — panickssery · 2026-09-25
- 重度用户晒 5500 小时账单：约七成时间耗在与模型漂移对抗 — TheOdbball · 2026-09-25
- repligate 呼吁:给小模型写帖子也是一种「陪伴」 — repligate · 2026-09-25
- AI 科学发现的验证瓶颈：Dario 的基因编辑突破没那么简单 — Ghost_Pilot_MD · 2026-09-25
- AI 博士自述：ICLR 审稿套路化，学术已被工业界甩开 — vykthur · 2026-09-25
- 猫才是「未对齐超级智能」的活样本：没被 RLHF 驯服也照样共存 — repligate · 2026-09-25