Qwen3.6 35B-A3B 跑进 6GB 显存：131K 上下文 + 视觉，附完整 llama.cpp 配置

Szadbaverem69 · reddit · 2026-10-10

作者在 RTX 2060 6GB + 32GB DDR4 + i5-10400F 上成功运行 Qwen3.6-35B-A3B（Q4KM，Uncensored 版），131K 上下文 + 视觉能力。

关键做法与数据：

MoE 专家层大部分放 CPU（--n-cpu-moe 39），这是 35B 能塞进 6GB 显存的核心。
视觉投影器跑 CPU（--no-mmproj-offload），显存控制在约 5.2GB 避免爆显存，图像编码稍慢但省出约 1GB。
KV cache 用 Q80 量化，空缓存时约 600 tok/s prefill / 23 tok/s decode；上下文涨到 90k 后稳定在约 485 tok/s prefill / 15 tok/s decode。
帖子附完整可复制的 llama-server 启动命令（采样参数、mmap+mlock、--reasoning-format deepseek 等），作者还在征集优化建议。

「Infra」频道最新