权重只是四分之一：详解 LLM 推理为何照样爆显存
blaizedsouza · x · 2026-10-13
转载 @avichawla 的文章《How LLM Inference Works, Clearly Explained》，解释一个常见误区：模型加载成功不代表能推理，首个请求到来时仍可能耗尽 GPU 显存。
核心原因是模型权重只是四类显存分配之一：
- 模型权重：推理前载入，大致恒定。70B 模型在 FP16/BF16 约需 140 GB，INT8 约 70 GB，INT4 约 35 GB；量化可压缩，但部分算子内核仍会用更高精度。
- KV cache：每个 Transformer 层为每个 token 生成 KV 张量，供后续 token 注意此前内容，随上下文长度线性增长。
文章还指出每次 generate() 调用包含两个计算阶段：处理 prompt 的 prefill 阶段是计算受限（compute-bound），逐 token 生成的 decode 阶段是内存带宽受限（memory-bound）。
「Infra」频道最新
- 「最强模型通吃」时代终结:AI 价值正流向数据中心与应用层 — RihardJarc · 2026-10-13
- 资金弃半导体转向云厂商与应用层,分析师预期轮动还将持续 — RihardJarc · 2026-10-13
- Intel 多代 CPU 涨价 15-20%,AMD 预计跟进推高算力成本 — TheZachMueller · 2026-10-13
- Mistral 模型上天：加入 50 颗卫星的 AI 星座，NVIDIA 提供算力 — MistralAI · 2026-10-13
- NVIDIA 617.42 驱动疑似坑惨 ComfyUI:三张 5060 Ti 全翻车,回滚 616.92 解决 — DoubleNothing · 2026-10-13
- a16z 图表：Agent 用量已远超人类，7 日均值 7.3 万亿 tokens、暴涨 14 倍 — dfinke · 2026-10-13