研究者驳「LLM 输出离散不连续」论:token 只是连续过程的采样

Sauers_ · x · 2026-11-11

针对「LLM 按离散 token 输出、不像人类有平滑连续思维流,因此根本上不连续」的说法,Sauers 指出这是误解:token 只是底层连续计算过程的中间读出(intermediate readouts),模型内部状态是连续演化的。他估算 token 所携带的信息只占模型可用历史信息的约 0.00001%,不能把采样点当作过程本身。

所属事件:Sauers_ 驳「LLM 本质离散」论:token 只是连续过程的读数(5 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →