ML 推理工程师必备知识清单
Abhishekcur · x · 2026-07-06
作者系统梳理了从事 ML 推理需掌握的知识体系:GPU 架构、CUDA、内存层级与张量核心;高性能 kernel、算子融合与性能剖析;KV cache、FlashAttention、PagedAttention 与投机解码;量化(fp8/int8/int4)与连续批处理;推理引擎 vLLM、SGLang、llama.cpp;分布式推理(张量/流水线/专家/数据并行);NCCL、NVLink、InfiniBand 等高速通信;以及延迟、吞吐与内存优化等。作者表示将在系列视频中逐一讲解。