RTX 5080本地跑Qwen3.6量化版的性能与取舍
boyeardi · reddit · 2026-07-07
用户在RTX 5080+32GB DDR4上本地运行Qwen3.6:27B在Q3KM下约60 tok/s,35B在IQ2下约190 tok/s,但精度从Q6下调带来的准确性损失明显。另有闲置1080ti(11GB),考虑用其做tensor split分担,询问16GB显存用户的实际方案与上限。
「Infra」频道最新
- Anthropic 10 月 ARR 疑似暴涨，年底千亿美元 ARR 有望 — GavinSBaker · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26