RTX 5080本地跑Qwen3.6量化版的性能与取舍
boyeardi · reddit · 2026-07-07
用户在RTX 5080+32GB DDR4上本地运行Qwen3.6:27B在Q3KM下约60 tok/s,35B在IQ2下约190 tok/s,但精度从Q6下调带来的准确性损失明显。另有闲置1080ti(11GB),考虑用其做tensor split分担,询问16GB显存用户的实际方案与上限。
boyeardi · reddit · 2026-07-07
用户在RTX 5080+32GB DDR4上本地运行Qwen3.6:27B在Q3KM下约60 tok/s,35B在IQ2下约190 tok/s,但精度从Q6下调带来的准确性损失明显。另有闲置1080ti(11GB),考虑用其做tensor split分担,询问16GB显存用户的实际方案与上限。