博主算账：40 万 token 上下文里 token 身份仅占 KV cache 信息量 0.00082%
aryaman2020 · x · 2026-11-11
一场关于长上下文的技术争论：有人提出 40 万 token 上下文中，过去 token 的身份信息（约 688 万 bit）与 KV cache（400,000×64 层×8 KV 头×128 维×2×16bit ≈ 8388 亿 bit）相比微不足道，仅约 0.00082%。回复者反驳称 KV cache 本身就是过去 token 身份的函数，无法凭空产生新信息；随后又提出「如果允许 steering 情况会不同」。讨论触及 KV cache 信息论本质与长上下文表示能力的边界。
所属事件:Sauers_驳「LLM本质离散」论：token仅是连续过程的读数(6 条相关)→
「研究」频道最新
- PufferLib 单 GPU 每秒训练 6000 万样本，RL 库全开源 — jsuarez · 2026-11-11
- Artificial Analysis 智能指数权重频繁变动,单一基准权重波动达数倍 — HamelHusain · 2026-11-11
- Benchling 发布 BenchBench-Refusals:GPT-6.1 Sol 88.4% 居首,Opus 5.5 无认证仅 40.4% — nlarusstone · 2026-11-11
- 斯坦福 top 2% 榜单：Anthropic 科学家引用量是 OpenAI 两倍多 — NegotiationOk7535 · 2026-11-11
- MAEP：免训练按模态剪枝，可将 MoE 多模态模型压缩 90% 专家参数 — nota-ai · 2026-11-11
- Fable 5.2 登顶 GDPx 芯片设计榜(16.4%),但部分任务零提升 — ycombinator · 2026-11-11