从 KV cache 一行原理出发，推演出推理即系统工程的全链条

Abhishekcur · x · 2026-09-25

作者从推理中最简单也最重要的思想——「不要重复做同样的计算」——讲起：LLM 逐 token 生成时，注意力机制会为先前 token 计算 key 和 value，推理引擎把它们缓存在 KV cache 中复用，避免每次重新计算。这个「小优化」实为推理工程的支点：缓存该保留多少、如何高效访问，把问题引向 GPU 显存、显存带宽、cache 布局、分配、批处理、序列长度、延迟与吞吐，最终变成纯粹的系统工程。作者认为推理的魅力正在于此：从一行原理出发，沿因果链追问数据在哪、占多少内存、如何布局、多请求共享 GPU 会怎样，最终理解从模型→计算→内存→硬件→延迟→用户的完整路径——性能工程本质上就是找到不必做的工作并不为它付费。