LLM 上线后问题全变：从 Prefill 与 Decode 讲推理工程

mdancho84 · x · 2026-11-13

数据科学家关心模型精度，而 AI 工程师关心毫秒级延迟和 GPU 显存——因为 LLM 一进生产环境，问题就变了：延迟、吞吐、KV cache、批处理、GPU 利用率、路由和单请求成本成为核心指标，这就是推理工程(Inference Engineering)。

理解推理工程的第一课：LLM 推理有两种截然不同的负载。Prefill(处理 prompt 并构建 KV cache)通常是计算密集型；Decode(逐 token 生成)则容易受显存带宽限制。这一区分解释了现代 LLM 基础设施的诸多设计：FlashAttention 减少内存搬运、PagedAttention 优化 KV cache 管理、Continuous batching 让 GPU 保持忙碌、Prefix caching 避免重复计算、GQA/MQA 压缩 KV 显存。作者认为不必成为 CUDA 专家，但从数据科学转向 AI 工程需要理解这些推理侧基础。