Dietterich：预训练阶段已迫使模型抽象泛化，不止鹦鹉学舌
tdietterich · x · 2026-09-25
AI 学者 Thomas Dietterich 在与 @micsolana、Nate Silver 的讨论中反驳「预训练只是鹦鹉学舌」的说法。他指出：
- 预训练阶段逐 token 预测任务本身要求极高，已有证据表明它迫使模型以有趣且有用的方式抽象和泛化。
- SFT 与强化学习则进一步超越语言预测，转向预测正确的多 token 答案。
- 预训练的主要作用是学到良好的内部表示，以及一个能生成候选解的随机生成器。
这是对 LLM 训练各阶段分工的一次简洁技术澄清。
所属事件:Dietterich：LLM不只是预测下一个词，预训练已逼出抽象泛化(2 条相关)→
「研究」频道最新
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- 形式化验证让 AI 编码更快：Lean 证明成为 agent 优化护栏 — bigdata · 2026-11-11