推理工程成 AI 关键技能：Prefill 与 Decode 的优化全解
mikeflache · x · 2026-10-08
一篇系统的推理工程（Inference Engineering）科普长文，指出训练之外，模型上线服务真实流量后的队列、批处理、KV cache 压力、GPU 显存、调度与尾延迟才是工程师常低估的难题。核心框架：- Prefill 处理 prompt 并构建 KV cache，算术强度高、可并行，吃算力；- Decode 自回归逐 token 生成，实际 batch 下主要受显存带宽限制；- 由此解释 FlashAttention（减少 attention 内存流量）、PagedAttention（分块管理 KV cache 降碎片）、MQA/GQA（减少 KV 头省存储与带宽）、Continuous batching（请求动态进出批次）、Chunked prefill（切长 prompt 与 decode 混跑）、Prefix caching（复用重复前缀的 KV 状态）；- 显存方面，KV cache 大小随活跃 token 增长，取决于层数、KV 头数、head 维度与每元素字节数。
所属事件:推理工程长文走红：Prefill/Decode 分离与 KV Cache 优化解析(2 条相关)→
「Infra」频道最新
- Surface AI 硬件周五开售:RTX Spark 版起售 2599 美元,Dev Box 5999 美元 — ryanshrout · 2026-10-08
- XPU Grasshopper 芯片宣称由 AI 协同设计,13 周性能提升 816 倍 — ycombinator · 2026-10-08
- 机密估算显示 NSA 每年花费数十亿美元测试前沿 AI 模型 — coherence · 2026-10-08
- 为省一微分钱，超大规模云厂商在可插拔光模块上有多拼 — jwt0625 · 2026-10-08
- 128GB Mac 跑 341GB DeepSeek：砍代码库让 agent 提速 2 倍 — Chida82 · 2026-10-08
- Windows 现场 demo:编码任务被自动路由到本地模型,llama.cpp 已接入 Windows ML — ryanshrout · 2026-10-08