Qwen3.6 的 KV Cache 量化显存对比
token---- · reddit · 2026-07-19
帖子在讨论 Qwen3.6-35B-A3B 的 KV cache 量化 与显存占用，核心问题是：为了省内存，把 KV cache 量化到低于 Q8 是否值得，以及会带来多大性能/质量代价。
配图给出了在不同 context length 下、不同 KV 配置的 VRAM 使用曲线。可以看到上下文越长，显存差异被迅速放大；其中未量化方案占用最高，而更激进的量化组合能显著降低显存压力，适合长上下文推理场景。
这类内容更偏向推理部署与内存优化，而不是单纯模型能力讨论。
「Infra」频道最新
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26
- Meta 拟发售至多 950 亿美元股票为 AI 基建输血 — The Decoder · 2026-10-26