一个 f16 token 为何占 64KB 显存？Reddit 网友求解 KV Cache 之谜
Fancy-Snow7 · reddit · 2026-10-24
Reddit 网友提问：据说一个 token 约等于半个英文单词，本身不过几个字节，为什么 Qwen3 8B 上 f16 精度下每个 token 却占约 64KB 内存？多出来的空间到底存了什么？问题指向 LLM 推理中 KV Cache 的原理——真正占显存的不是 token 文本本身，而是每层注意力缓存下来的 key/value 向量。
「模型」频道最新
- Kimi K3.1 动画作品爆火，157 个作品提示词被整理开源 — yihui_indie · 2026-10-24
- 实测 k3.1-pro 3D 生成强于 5.6-sol，仍逊于 Opus 与 Fable — adonis_singh · 2026-10-24
- dottxt 预告 Tool-Call Index:最差 provider 弄坏工具调用比最好高 17 倍 — remilouf · 2026-10-24
- 新量化格式 Gyro 被质疑是闭源版 EXL3：无公开数据证明更优 — nasone32 · 2026-10-24
- Haider 力挺 OpenAI：落伍论荒谬，最强模型尚未放出 — haider1 · 2026-10-24
- 两个顶级模型对同一笔困境债券判断迥异，分层推理后趋于一致 — AI Engineer · 2026-10-24