LLM 推理降本与KV缓存卸载
algo_diver · x · 2026-07-12
这条转发总结了一套**把 LLM 推理成本降到更低**的实践思路： - 请求进来后先查 **LMCache**，命中则直接从 **CPU/SSD/远程存储** 取出 KV cache，跳过 prefill。 - 组合栈包括 **LMCache + vLLM + CPU/SSD/remote storage + zero-copy CUDA kernels**。 - 文中还提到，像 Bloomberg 这类生产系统每周会推动**数百 TB** 级别的 KV cache 流量，说明这类优化已进入真实生产环境。 转发里还引用了另一篇关于 **Loop Engineering** 的文章：通过构建一个自动搜索配置、在评测上测回归率、达到目标后停止的闭环系统，来自动调优 RAG，而不是手工调参。