Dietterich：LLM不只是预测下一个词，预训练已逼出抽象泛化

围绕「LLM 是否只是在预测语言、不过是鹦鹉学舌」的争论，机器学习学者 Thomas Dietterich 在与 @micsolana、Nate Silver 等人的讨论中作出反驳。他指出监督微调和强化学习已使模型超越单纯的下一个词预测，转向预测正确的多 token 序列；同时预训练阶段本身也在逐 token 处理中迫使模型进行抽象与泛化，因此不能将 LLM 简单贬低为随机鹦鹉。

2026-09-25 ~ 2026-09-25 · 2 条相关