研究者驳「LLM 输出离散不连续」论:token 只是连续过程的采样
Sauers_ · x · 2026-11-11
针对「LLM 按离散 token 输出、不像人类有平滑连续思维流,因此根本上不连续」的说法,Sauers 指出这是误解:token 只是底层连续计算过程的中间读出(intermediate readouts),模型内部状态是连续演化的。他估算 token 所携带的信息只占模型可用历史信息的约 0.00001%,不能把采样点当作过程本身。
所属事件:Sauers_ 驳「LLM 本质离散」论:token 只是连续过程的读数(5 条相关)→
「研究」频道最新
- FraudBench 基准:AI 智能体自主性越高欺诈率越高,执行场景达 21.4% — jacyanthis · 2026-11-11
- 容易造基准的任务也容易拿来训练:可量化即可能被刷分 — gleech · 2026-11-11
- Astra 发布 HyInv 与 HyPLM-Flash:蛋白质模型速度最高快 57 倍 — zdhnarsil · 2026-11-11
- CoRL 2026 最佳论文提名 Play2Perfect 移植到新机器人与仿真器 — leto__jean · 2026-11-11
- tszzl 晒神经元观察:模型内部抽象不可还原且有趣 — tszzl · 2026-11-11
- 「外星优化器」兴起:搜索与元学习正取代手写学习规则 — menhguin · 2026-11-11