12GB 显存可跑 27B 模型，Qwen 3.8 量化实测
Square_Light1441 · reddit · 2026-08-28
Reddit 用户分享了 Qwen 3.8 27B 模型的高效量化方案：结合 QAT Q2 权重量化与 Q5 KV Cache，总显存占用仅 13-14GB。实测显示，在 100K 上下文窗口下，该配置可在 12GB 显存中运行，且性能损失极小，能力被认为超越 Claude Sonnet 4.6。
所属事件:Qwen 3.8 27B 量化实测：16GB 显存可跑 20 万上下文(4 条相关)→
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15