「LLM 本质离散」是误解:token 只是连续过程约 1% 的中间读数
Sauers_ · x · 2026-11-11
Sauers 指出一个常见误解:有人认为 LLM 因输出离散 token 而本质上是「不连续」的、与人类平滑连续的思维流不同。他澄清这是错的——token 只是从一个连续过程中间读出的快照,可用的过去信息里 token 仅占约 1%。也就是说,模型的底层计算是连续的,离散输出只是对连续状态的采样式读数。
所属事件:Sauers_ 驳「LLM 本质离散」论:token 只是连续过程的读数(5 条相关)→
「模型」频道最新
- 马斯克盛赞 Opus 5.5 是杰作,称 Grok 5 两三个月内将超越它 — rohanpaul_ai · 2026-11-11
- Salesforce 开源 GIFT-Eval-CTX:结构化上下文让 LLM 预测误差降 40% — LiJunnan0409 · 2026-11-11
- Gemini 4 Carbon 上线:编码强于 Argon,写作反而更同质化 — every · 2026-11-11
- Opus 5.5 终于学会「高级幽默」,恶搞纪录片和公益广告像模像样 — andrey_kurenkov · 2026-11-11
- 算账实测:多想 12 分钟多花 25 倍钱,只换来 0.06 分提升 — aakashgupta · 2026-11-11
- Jason Weiss 统计前沿实验室 2026 报榜分布,OpenAI 最爱自造 benchmark — _jasonwei · 2026-11-11