tokens 只占 0.0008%:400k 上下文的信息量账本
Sauers_ · x · 2026-11-11
Sauers 用算术回应「LLM 输出离散 token 所以本质不连续」的说法:token 只是连续过程的中间读出。以 400k 上下文为例,过去 token 身份信息仅约 6,885,242 bits(400,000 × log₂151,936),而 KV cache 高达约 838,860,800,000 bits(400,000 × 64 层 × 8 KV heads × 128 维 × 2 × 16 bits)——token 只占模型可用历史信息的约 0.00082%。
所属事件:Sauers_ 驳「LLM 本质离散」论：token 只是连续过程的读数(5 条相关)→
「Infra」频道最新
- 实测称 AMD MI355X 单用户速度全场最快,性价比约 2.4 倍于 H200 — AryHHAry · 2026-11-11
- HF tokenizers v1.0 RC4 发布：找回 transformers/vLLM 依赖的 API，编码最高快 17 倍 — art_zucker · 2026-11-11
- MacPaw Elix 号称 Apple 芯片最快推理引擎,33项全胜 — JosephJacks_ · 2026-11-11
- Reddit 讨论:哪些任务你已从云端模型彻底转到本地模型 — FulcraDynamics · 2026-11-11
- Grok 揭秘 X 推荐系统：文本图像视频帧统一做稠密嵌入 — cocktailpeanut · 2026-11-11
- NEAR AI 披露安全事件：SGLang 漏洞被利用，约 100 用户数据泄露 — bingxu_ · 2026-11-11