实测反转:llama.cpp 里 KV cache 量化到 q8_0 反而更费显存
Fancy-Snow7 · reddit · 2026-11-21
Reddit 用户在 Unsloth 版 llama.cpp 上跑 Inkling-2-Mini(Q4KXL 量化、131072 上下文、专家全部卸载到 CPU)时发现:KV cache 量化并不省显存,反而更耗——f16 占专用显存约 8.8GB,q80 约 12.3GB,q40 也有 11.2GB。
更意外的是,直接用 f16 反而能解决部分配置下 q80 出现的 CUDA OOM 问题,token 生成速度最高快 50%,推测是因为腾出了更多显存来缓存专家。作者环境为 Windows 11 + RTX 5070Ti,发帖询问是否有其他人遇到同样情况。
「Infra」频道最新
- SpaceX 完成 440 亿美元 GPU 融资,为 Grok 与 AI 数据中心购入英伟达芯片 — mark_k · 2026-11-21
- 为跑 24/7 智能体系统,研究者自制本地 GPU 服务器替代 Mac mini — nodosenlared · 2026-11-21
- 单卡 RTX 3090 跑出 129.5 tok/s 与 344K 上下文,自研推理引擎对比 llama.cpp 提速 2.3 倍 — teortaxesTex · 2026-11-21
- Cohere 推机密计算:数据全程加密进 GPU,直指别家 ZDR 多是营销话术 — Nils_Reimers · 2026-11-21
- Gary Marcus 转发图表:甲骨文 CDS 信用违约互换飙升至历史新高 — GaryMarcus · 2026-11-21
- 去中心化 GPU 跑敏感 AI 负载,TEE 与远程证明能兜底吗 — MrSwannn · 2026-11-21