35 种量化组合实测:Qwen3.8 27B 的 KV 缓存 8-bit 几乎无损
Hefty_Wolverine_553 · reddit · 2026-11-08
一位本地 LLM 玩家用 KL 散度(KLD)系统量化了 KV 缓存量化对 Qwen3.8 27B 的影响,测试覆盖 llama.cpp、ExLlamaV3、vLLM 三个引擎的 35 种权重量化,每种搭配 16/8/4-bit KV 缓存,数据集含 agentic 工具调用与多领域文本,上下文最长达 64k token。
核心结论:
- 8-bit KV 缓存基本免费:llama.cpp 与 ExLlamaV3 下缓存减半(64k 上下文省约 1.9-2.0 GiB),KLD 几乎无差异;vLLM 略差但仍是缺显存时的好取舍
- 4-bit KV 有可测影响:对 Q8 权重打击大,只有配 Q3 以下权重才可能划算,不推荐
- 只有 4-bit 的影响随上下文增长:16-32k 时附加 KL 比 4k 内高约 15-30%
其他发现:vLLM 的官方量化 checkpoint 全面输给更小的 GGUF/EXL3 量化;NVIDIA/Unsloth 的 NVFP4 用 W4A4 激活量化是主因——换用 Marlin 内核(激活保 bf16)后 NVFP4 的 KL 从 0.0256 降到 0.0117。作者基准测试显示两个正确实现的浮点顺序差异仅 KLD 0.0004,故跨引擎数据可直接比较。交互图表见作者博客。
「Infra」频道最新
- RBA 智能体给科研代码提速：12 个真实负载平均加速 2.51 倍 — YouJiacheng · 2026-11-08
- 他给 1985 年 Cray-2 超算写模拟器,跑通 GPT-3 级模型 — inductionheads · 2026-11-08
- Hyperbolic CEO 谈算力做市:三年长约对三周需求的市场空隙 — YiMaTweets · 2026-11-08
- Ben Bajarin 反驳「不需要数据中心」论:企业软件上云史正在重演 — BenBajarin · 2026-11-08
- 租 8×H200 烧 $4600 零进展,Tinker 跑同一训练全程不足 $100 — simonguozirui · 2026-11-08
- 算力上太空是必然：反对数据中心的人还要反对到宇宙吗 — Dr_Singularity · 2026-11-08