一次请求两个瓶颈：LLM 推理如何在算力与内存之间切换
techNmak · x · 2026-11-07
techNmak 发长文拆解 LLM 推理服务的核心矛盾：同一个模型在同一块 GPU 上，prefill 阶段通常是算力受限（大矩阵并行处理 prompt），decode 阶段在低 batch 下则是内存带宽受限（每步自回归读取权重和不断增长的 KV cache）。
关键账目：32 层 GQA 模型（8 KV heads、head dim 128、BF16）下，8192 token 序列需 1 GiB KV cache；16 条独立序列就是 16 GiB，还没算权重和激活。
优化手段各管一段：
- Continuous batching：请求在迭代间进出批次；Chunked prefill 把长 prompt 切块与 decode 混跑，控制 token 间延迟
- PagedAttention 分块管理 KV 减少分配浪费；Prefix caching 跨请求共享前缀 KV——但都不缩小单条 KV 的体积
- FlashAttention 降低注意力计算的内存流量；投机解码用小 draft 模型降低串行解码成本
- 更大规模可把 prefill/decode 分池部署，代价是 KV 迁移和利用率损失
结论：别只看 tokens/s，要在真实 prompt 长度、输出长度和并发下测 TTFT、ITL、尾延迟、KV 利用率与成本——最大化吞吐的配置在延迟敏感场景可能很差。附一张完整的信息图。
「Infra」频道最新
- 研究测算:美国数据中心耗水仅约为高尔夫球场灌溉的4% — kimmonismus · 2026-11-07
- 数据中心耗水被夸大：2024 年用水量仅美国高尔夫球场灌溉的 4% — kimmonismus · 2026-11-07
- 传字节跳动拟大幅扩建巴西 AI 数据中心 — Polymarket · 2026-11-07
- 博主号召周末跑一个本地开源模型:单个文件 5-20GB,20 分钟装好 — alex_verem · 2026-11-07
- 31.7MB 的 Underdog Woof TTS：CPU 实时 13.8 倍速、词错率仅 1.42% — victormustar · 2026-11-07
- 四个小到能跑在 CPU 上的 TTS 模型，最小仅 1.4M 参数 — vanstriendaniel · 2026-11-07