SemPIC提出文档预编译KV缓存以削减RAG成本

arXiv 论文 SemPIC 提出了一种优化 RAG 推理成本的新思路。该方法将可复用文档视为编译好的推理产物，通过学习语义位置无关的 KV 缓存，使得预编译的文档能够在不同的用户请求间直接复用，从而大幅降低检索增强生成过程中的推理开销。

2026-08-06 ~ 2026-08-06 · 2 条相关

• 将文档预编译为KV缓存：SemPIC大幅削减RAG推理成本 — TheTuringPost · 2026-08-06

另有 1 条近重复转述:TheTuringPost