KV Cache 移植实验:Q6 起步 Q3 续跑,质量反超全程低量化
wadeAlexC · reddit · 2026-09-26
作者受 Cache-to-Cache 论文(arXiv:2510.03215)启发——该论文用小网络把不同模型的 KV cache 直接语义融合,替代 agent 间文本传递——验证了一个想法:同一模型不同量化之间的 KV cache 能否互通?在 Qwen3.8-27B 上用 NIAH 式难题做了对比实验:
- 静态基线:单用量化 IQ3S、Q4KXL、Q6K(后者需 >24GB 显存)
- 动态策略 1:Q6K 起步 → 换 Q4KXL → 换 IQ3S(f16 KV cache)
- 动态策略 2:Q6K 起步 → KV cache 量化到 q80 → 换 Q4KXL → 再量化,适配 24GB 显存
结果:高精度起步、低量化接管的动态策略,在相同显存预算下质量超过全程低精度运行——说明同模型不同量化间无需训练转换器即可复用 KV cache。
「Infra」频道最新
- AI 服务器需求拉动,南亚塑胶拟投115.3亿新台币建玻纤布五厂 — zephyr_z9 · 2026-11-11
- 三年造 CPU、内存与脉冲网络：一位芯片爱好者的加速器之路 — k7agar · 2026-11-11
- CoreWeave：2027年13万张GPU到期续约可年增收近40亿美元 — zephyr_z9 · 2026-11-11
- 800 美元二手 3090 主机本地跑 DeepSeek 4.1，2 量化仅 2-3 token/s — LankyGuitar6528 · 2026-11-11
- Mark 感叹 George Hotz 当年对 Nvidia 局势的预言成真 — mark_k · 2026-11-11
- 亚马逊 Prime 360 用 AI 实时重建 NBA 比赛 3D 画面，可任意视角回放 — import_jmr · 2026-11-11