「LLM 天生不连续」是误解:token 只是连续过程的采样读数
Sauers_ · x · 2026-11-11
Sauers 反驳一种常见说法——「LLM 因为输出离散 token,所以本质上是离散、不连续的,不像人类流畅的思维流」。他指出这是错的:token 只是一个连续内部过程在中间步骤的读数(intermediate readouts),生成过程本身是连续的。
他强调,文本 token 所承载的信息只占模型内部可用信息的极小一部分(约 0.001%),把离散输出等同于模型思维的全部是误解。
所属事件:Sauers_ 驳「LLM 本质离散」论:token 只是连续过程的读数(5 条相关)→
「模型」频道最新
- Artificial Analysis 旧金山发布 Intelligence Index v5,共话评测未来 — ArtificialAnlys · 2026-11-11
- 开发者发现用代码调 Fable 5.2 生视频,JS 路径似乎没有裸露过滤 — mickeyxfriedman · 2026-11-11
- Lenny 观察:设计师圈最常被点名的是 Claude 而非 ChatGPT — lennysan · 2026-11-11
- 用 Claude 搭几十个游戏后:套路比人类少,RL 过于「有主见」 — teortaxesTex · 2026-11-11
- Liquid AI 语音模型上手机:三星手机完全本地语音对话 — alexcovo_eth · 2026-11-11
- 物流小模型 Cartage-1 胜过全部前沿模型,成本仅 1/20 — shakoistsLog · 2026-11-11