「LLM 天生不连续」是误解:token 只是连续过程的采样读数

Sauers_ · x · 2026-11-11

Sauers 反驳一种常见说法——「LLM 因为输出离散 token,所以本质上是离散、不连续的,不像人类流畅的思维流」。他指出这是错的:token 只是一个连续内部过程在中间步骤的读数(intermediate readouts),生成过程本身是连续的。

他强调,文本 token 所承载的信息只占模型内部可用信息的极小一部分(约 0.001%),把离散输出等同于模型思维的全部是误解。

所属事件:Sauers_ 驳「LLM 本质离散」论:token 只是连续过程的读数(5 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →