llama.cpp 新的动态 KV 缓存 VBR
old-mike · reddit · 2026-07-14
这条帖子在介绍 spiritbuun 的 llama.cpp fork 新特性 **VBR（Variable Bit Rate）KV cache**： - 不再为整个上下文使用固定 KV 量化档位，而是设置一个 floor，缓存会随着上下文增长逐级降档。 - `-ct vbr` 会根据剩余显存自动推算可用 KV 预算，并在 decode 过程中动态降档。 - 作者在 RTX 3060 12GB 上实测，和固定档位方案相比： - Decode TPS 只慢约 4% - TTFT 减半左右 - 显存占用更低 - 自动适配到约 216k tokens 上下文 - 文章也提到一个 fused kernel 的 bug，作者已回退相关 commit。