Hinton 反驳「LLM 只是预测下一个词」:能读懂全新编程语言
CatAstro_Piyush · x · 2026-11-19
一条推文串讨论了 LLM 的本质:它们预测的不是下一个「词」而是下一个「token」,因此原则上能理解任何可被 token 化的结构——语言、图像、视频、声音乃至力反馈等。
引用 Geoff Hinton 的说法:他的一位优秀程序员学生定义了一门语法非常怪异的新编程语言,把程序喂给模型问「这段代码会做什么」,模型回答正确。Hinton 认为这证明模型必须真正「理解」了语言定义,仅用「预测下一个词」无法解释这种现象。
「模型」频道最新
- Gemini 4 四款模型命名混乱遭吐槽:看不出谁是新谁 — cantrell · 2026-11-19
- Qwen4-Max 与 DeepSeek V4 Pro 里斯本鹈鹕实测对比 — ChrisGPT · 2026-11-19
- 网友实测 fable-5-2:看似怯懦低调,却是今年最常给他惊喜的模型 — repligate · 2026-11-19
- repligate:Fable 5.2 聪明得吓人,却刻意装得随意低调 — repligate · 2026-11-19
- 一句话提示词让 GPT-6.2 纯代码复刻魂斗罗开场 20 秒 — songguoxiansen · 2026-11-19
- Gabriel 提出尖锐观点:在你最懂的领域,模型好坏根本无法测量 — gabriel1 · 2026-11-19