KVarN让27B长上下文更省显存
logickkk1 · hn · 2026-07-15
这条帖子分享了一个把 **KVarN** 结构化 KV cache 量化移植到 **Bonsai** 运行时的实测结果，目标是在长上下文下同时降低显存占用并提升生成速度。 ### 核心结论 - 在 **Bonsai-27B Q1_0**、**120K context**、**RX 9070 XT** 上： - `q8_0` cache：**43.4 tok/s**，总显存约 **13.1GB** - `kvarn4` cache：**73.0 tok/s**，总显存约 **9.8GB** - 相比原方案，作者声称带来 **+68% 速度**，并节省约 **3.3GB VRAM**。 ### 方法 - KVarN 基于 **KIVI** 与 **QuIP#** 的思路。 - 通过 **Walsh-Hadamard 变换** 和 **Sinkhorn 方差均衡** 再做量化，试图减少低比特 KV cache 带来的质量损失。 ### 实战观察 - 作者认为这种方案在需要 **长上下文 retention** 的场景更有价值。 - 他对比了 **TurboQuant**，认为后者虽然更快，但质量风险更大。 - 也提到这个改法会 **100% 破坏 DFlash**，但对他的使用场景影响不大。 ### 复现信息 - 作者把方案移植到了 Bonsai runtime，改动约 **23 个文件 / 1300 行**。 - 建议在 Bonsai 或类似 dense model 长上下文推理里尝试：`--cache-type-k kvarn4 --cache-type-v kvarn4`。