Hinton 反驳「LLM 只是预测下一个词」
Geoffrey Hinton 再次回应「LLM 只是下一个词预测器」的质疑,认为这一说法在模型处理全新事物时会站不住脚。有讨论指出,LLM 预测的不是下一个「词」而是下一个 token,因此原则上能理解任何可被 token 化的结构,包括语言、图像、视频、声音乃至力反馈等。Hinton 举例称,一位前博士生设计了一种新编程语言,而模型能够读懂它,这证明模型确实在理解而非仅做统计预测。
2026-11-19 ~ 2026-11-20 · 2 条相关
- Hinton 反驳「LLM 只是预测下一个词」:能读懂全新编程语言 — CatAstro_Piyush · 2026-11-19
- Hinton 反驳「LLM 只是预测下一个词」:新语言实验证明模型真在理解 — coherence · 2026-11-20