Sauers_ 驳「LLM 本质离散」论：token 只是连续过程的读数

Sauers 针对「LLM 输出离散 token，因此本质上是离散、不连续的，不像人类平滑连续的思维流」这一流行论调给出系统性反驳，核心观点是：离散性只是输出接口的表象，不是系统本身的性质。

已确认

• token 只是底层连续计算过程的中间读出（intermediate readouts），是连续演化内部状态在采样时刻的快照，而非过程本身。
• 他用信息量算术佐证：以 400k 上下文为例，过去 token 的身份信息总计约 6,885,242 bits（400,000 × log₂151k 词表量级）。
• 折算后 token 身份信息在可用信息中占比极小：不同表述中约为 1% 到 0.001%（0.0008%） 量级，绝大部分信息存在于连续的内部状态而非 token 序列里。

为什么重要

• 「LLM 离散所以永远不同于人类思维」常被用作对 LLM 能力上限的定性判断；若 token 只是连续过程的低带宽读出，这一论证基础就不成立，讨论应转向内部连续动力学的性质。
• 信息量账本提供了一个可检验的量化视角：判断 LLM 的表达能力不应只看 token 流，而要看内部连续状态承载的信息。

注：本簇五条帖子均出自同一作者 Sauers 于 11-11 发布的同源论述，属同一观点的多次转述，上述内容已合并为一次表述。

2026-11-11 ~ 2026-11-11 · 5 条相关

• 研究者驳「LLM 输出离散不连续」论：token 只是连续过程的采样 — Sauers_ · 2026-11-11
• SAUERS：LLM 并非离散输出，token 只是连续过程的读取点 — Sauers_ · 2026-11-11
• 「LLM 本质离散」是误解：token 只是连续过程约 1% 的中间读数 — Sauers_ · 2026-11-11
• 【源头】「LLM 天生不连续」是误解：token 只是连续过程的采样读数 — Sauers_ · 2026-11-11
• 【源头】tokens 只占 0.0008%:400k 上下文的信息量账本 — Sauers_ · 2026-11-11