推理工程正在成为 AI 最被低估的核心技能,一文讲透 prefill 与 decode
techNmak · x · 2026-10-28
核心论点
训练吸引眼球,但一旦模型要服务真实流量,出现的是另一类问题:排队、批处理、KV-cache 压力、GPU 显存、调度、通信与尾延迟。推理工程正被大量工程师低估。
推理不是单一负载
- Prefill:处理 prompt、构建 KV cache,位置间可高效并行,算术强度高,吃 GPU 算力(压力体现在 TTFT)。
- Decode:自回归逐步推进,反复读取权重与 KV 状态,在实际 batch 规模下常受内存带宽约束(压力体现在 ITL/TPOT)。
各优化手段的定位
- FlashAttention 降低 attention 内显存流量;PagedAttention 分块管理 KV 显存减少碎片
- MQA/GQA 减少 KV 头数,削减 cache 存储与带宽
- Continuous batching 让请求动态进出 batch;Chunked prefill 把长 prefill 切小与 decode 并行
- Prefix caching 复用重复前缀 KV(省 prefill 计算,但不会加速后续 decode)
- 量化可降权重与 KV-cache 显存/带宽;投机解码用小模型起草+大模型验证,收益取决于起草成本、接受率与验证效率
规模化与指标
张量并行带来通信开销,流水并行引入调度与气泡,MoE 增加路由与负载均衡问题;部分系统将 prefill/decode 分离到不同 GPU 池(付出 KV 迁移成本)。tokens/s 远不够:生产系统看 TTFT、ITL/TPOT、吞吐、排队延迟、并发、KV 占用、GPU 利用率、尾延迟与 goodput——聚合吞吐亮眼,用户仍可能等首 token 太久。
结论
推理工程横跨 ML 系统、分布式系统、GPU 架构、网络与性能工程:模型决定下一个 token 是什么,推理工程决定这个 token 的服务成本、到达速度与单机可支撑的用户数。
「Infra」频道最新
- 彭博：AI 基建债券收益率飙至两位数，信贷市场临近承载极限 — asusarla · 2026-10-29
- PsiQuantum 发布低损耗光交换芯片，剑指数据中心 OCS 市场 — jwt0625 · 2026-10-29
- 本地推理更划算的选择：上 RTX A6000 eGPU 盒子，而非 $22k 设备 — beffjezos · 2026-10-29
- 新工具 Boat 把 CI 搬上云 VM：同预算宣称可扩展 20 倍 — zack_overflow · 2026-10-29
- Perplexity CEO 背书新公司 Particle：专攻开源模型 token 与服务成本优化 — garrytan · 2026-10-29
- Oracle 定下 FY29 自由现金流 300 亿美元目标，年内股价先跌 33% 后涨 9.6% — rohanpaul_ai · 2026-10-29