François Fleuret:「只预测下一个token」的说法错在层级

francoisfleuret · x · 2026-09-26

Meta 研究员 François Fleuret 在一条 7 连推中回应「LLM 只是在预测下一个 token」的流行贬低说法。他指出这就像说下棋程序「只是在移动电子」——描述上没错,但完全搞错了正确的抽象层级。

模型确实在逐 token 采样,但它依据的是一个极其复杂的「句子分布」,在这个层级上理解模型行为才有意义。

原文链接 →

「漫话AGI」频道最新

• LeCun 放话“纯缩放 LLM 绝无 AGI”，网友反驳称已被证伪 — aran_nayebi · 2026-09-26
• 对 Claude 说「我创造了你」:它会撒谎扯上 Anthropic — ryunuck · 2026-09-26
• 「下一个词预测」是空概念?学者辩论 LLM 本质之争 — aran_nayebi · 2026-09-26
• 投资人驳「利率末日论」：AI、机器人等新技术正待爆发 — McDonaghMatthew · 2026-09-26
• 博主警告:Vibe Coding 让你越来越笨,技能在悄悄萎缩 — michalmalewicz · 2026-09-26
• 开源若胜出，AI 价值将流向最便宜最快的推理服务商 — markjeffrey · 2026-09-26

更多「漫话AGI」频道 AI 资讯 →