Qwen3.6-27B 的 KV 量化对模型影响实测
BitGreen1270 · reddit · 2026-07-08
作者在 RTX 5090 上系统测试 Qwen3.6-27B(bartowski 量化版)不同 KV 量化组合对 KL 散度(KLD)的影响。主要发现:Q8 整体优于 Q6、Q5;一旦 value 用 q40,Q8 与 Q6 性能急剧下降;Q5 对 value 量化更宽容。最终建议:显存能装下什么量化就用什么,并统一配 (q80, q80) 的 KV 量化,几乎不损失性能。
「Infra」频道最新
- 云容量危机已成 AI 架构问题，作者撰文剖析挑战 — DavidLinthicum · 2026-10-26
- SpaceX 40B 美元 GPU 融资曝光，算力已达 1.7GW — XFreeze · 2026-10-26
- Meta 拟融资最高 950 亿美元，全力押注 AI 扩张 — Polymarket · 2026-10-26
- NBIS CEO:上周起债市对 Neocloud 关门,改靠客户预付款续命 — zephyr_z9 · 2026-10-26
- CoreWeave 五年期 CDS 飙至约 1100bps，市场担忧 AI 泡沫以信贷危机开场 — kimmonismus · 2026-10-26
- AI 需求重塑云计算：算力稀缺、长期合约取代按需模式 — DavidLinthicum · 2026-10-26