Hinton 反驳「LLM 只是预测下一个词」:能读懂全新编程语言

CatAstro_Piyush · x · 2026-11-19

一条推文串讨论了 LLM 的本质:它们预测的不是下一个「词」而是下一个「token」,因此原则上能理解任何可被 token 化的结构——语言、图像、视频、声音乃至力反馈等。

引用 Geoff Hinton 的说法:他的一位优秀程序员学生定义了一门语法非常怪异的新编程语言,把程序喂给模型问「这段代码会做什么」,模型回答正确。Hinton 认为这证明模型必须真正「理解」了语言定义,仅用「预测下一个词」无法解释这种现象。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →