搞懂 LLM 推理的 6 项关键技术：从 PagedAttention 到 Prefill/Decode 分离
techNmak · x · 2026-11-12
作者指出，能讲清 attention/KV cache/量化还不够，LLM 推理系统的性能大头在模型之外的六个服务技术，并逐一拆解：
- Prefix caching：复用共享前缀已算好的 KV 状态，省掉重复 prefill；新 token 生成照常。
- Continuous batching：自回归请求结束时间不一，调度器在迭代间移除已完成请求、插入等待请求，尽早复用 GPU 算力。
- PagedAttention：KV cache 随序列增长而最终长度未知，大块连续预留会因碎片和超配浪费显存；它把 KV 状态分块、逻辑块映射到不连续物理块，是内存管理技术而非 attention 近似。
- Chunked prefill：把长 prompt 处理切成小块，与 decode 混合调度，chunk 大小成为延迟/吞吐权衡的一部分。
- Speculative decoding：廉价 draft 模型提议多个 token，目标模型批量验证，经接受/纠正过程保持目标分布；收益取决于 draft 成本与接受率。
- Prefill/decode disaggregation：prefill 偏算力密集、decode 偏带宽敏感，分置不同 worker 池并传输 KV cache（传输本身有成本）。
作者的核心观点：这六项技术都不改变模型本身，性能就是在模型周边的调度与内存管理上分出胜负。
「Infra」频道最新
- RDNA3 定制 llama.cpp fork 让 7900 XTX 推理速度翻倍至约 100 tok/s — Jebbyk1 · 2026-11-12
- 郭明錤:黄仁勋是英伟达不可替代的引擎,Rubin 已因 HBM4 推迟至 2027 — zephyr_z9 · 2026-11-12
- 拆解：Anthropic 268 万芯片中英伟达仅占 3%，全行业最低 — teortaxesTex · 2026-11-12
- Kobeissi披露：曾质疑英伟达173亿美元新加坡营收是芯片转运通道 — josh_bickett · 2026-11-12
- 50GB 的 MiniMax H3 如何塞进 12GB 显存？量化实测拆解 — fa6637 · 2026-11-12
- PISA 路由器按提示词自适应选模型,成本-性能权衡领先四项基准 — Saul Urso · 2026-11-12