Qwen3.6-27B 的 KV 量化对模型影响实测
BitGreen1270 · reddit · 2026-07-08
作者在 RTX 5090 上系统测试 Qwen3.6-27B(bartowski 量化版)不同 KV 量化组合对 KL 散度(KLD)的影响。主要发现:Q8 整体优于 Q6、Q5;一旦 value 用 q4_0,Q8 与 Q6 性能急剧下降;Q5 对 value 量化更宽容。最终建议:显存能装下什么量化就用什么,并统一配 (q8_0, q8_0) 的 KV 量化,几乎不损失性能。