万字长文:推理工程为何是 AI 最被低估的核心技能
techNmak · x · 2026-11-18
techNmak 发长文论证「推理工程(Inference Engineering)」正成为 AI 领域最重要的技能之一,却被多数工程师低估。
核心论点
- 训练受关注最多,但模型服务真实流量后出现另一类问题:队列、批处理、KV-cache 压力、GPU 显存、调度、通信与尾延迟。
- Prefill 与 Decode 本质不同:Prefill 处理 prompt 构建 KV cache,可高效并行、算术强度高、偏计算受限;Decode 逐步自回归读权重和 KV 状态,在实际 batch 下严重受内存带宽限制。
- 优化技术各治其病:FlashAttention 减注意力内存流量、PagedAttention 分块管理 KV 减碎片、MQA/GQA 减少 KV 头、Continuous batching 动态进出请求、Chunked prefill 让长短任务共存、Prefix caching 复用重复前缀(只省 prefill 不加速 decode)。
- 显存与并行:KV cache 随层数/KV 头数/序列长度增长;量化可压权重与 cache;投机解码加速取决于 draft 成本与接受率;大规模下张量/流水线并行带来通信与流水线气泡,MoE 增加路由与负载均衡难题,有的系统干脆 prefill/decode 分池部署。
- 只看 tokens/s 不够:生产系统要盯 TTFT、ITL/TPOT、吞吐、排队、KV 占用、GPU 利用率、尾延迟与 goodput——聚合吞吐漂亮也可能首 token 让用户等太久。
文末配一张完整信息图,覆盖请求流、关键指标、Roofline 分析、内存公式、并行策略与快速诊断表。
「Infra」频道最新
- 8GB 旧笔记本离线跑开源模型,20 分钟变身家庭私人 AI — alex_verem · 2026-11-18
- DEC Alpha 处理器兴衰史长文:从性能之王到被遗忘 — ArtificialOther · 2026-11-18
- 安卓本地跑扩散模型:Snapdragon NPU 上的 ComfyUI 式生成器 — Few_Caregiver8134 · 2026-11-18
- 免费在线书《LLM Inference Handbook》:生产级推理部署指南 — burkov · 2026-11-18
- SEC 对英伟达展开民事调查,涉未披露的涉华芯片销售 — The Decoder · 2026-11-18
- 开源LLM推理优化手册:48个主题配可动手实现的练习题 — udmrzn · 2026-11-18