实测反转:llama.cpp 里 KV cache 量化到 q8_0 反而更费显存

Fancy-Snow7 · reddit · 2026-11-21

Reddit 用户在 Unsloth 版 llama.cpp 上跑 Inkling-2-Mini(Q4KXL 量化、131072 上下文、专家全部卸载到 CPU)时发现:KV cache 量化并不省显存,反而更耗——f16 占专用显存约 8.8GB,q80 约 12.3GB,q40 也有 11.2GB。

更意外的是,直接用 f16 反而能解决部分配置下 q80 出现的 CUDA OOM 问题,token 生成速度最高快 50%,推测是因为腾出了更多显存来缓存专家。作者环境为 Windows 11 + RTX 5070Ti,发帖询问是否有其他人遇到同样情况。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →