本地跑 Qwen3 8B 想扩到 128GB 内存:老平台 DDR4 换条值不值
thatscoolbutno123 · reddit · 2026-11-05
Reddit 用户在 Z690 主板 + RX 9700(32GB 显存)的老游戏机上本地跑 Qwen3 8B Flash Next(IQ3XXS 量化),目前 4x16GB 内存占用已达 55GB/64GB,3 个并行会话、350k 上下文(QK8V4)下聚合解码约 100 tps。他想升级到 4x32GB(约 500-600 欧,无散热马甲但机箱风量尚可),以便缓存更多会话、用更大的 K 量化并扩上下文,同时保持速度。他还在纠结内存频率:≥3200MHz 的条子贵得多,若只跑 2100-2600MHz 会不会明显拖累推理速度,并问 150GB 总(显)存下能否跑比 Qwen3 8B 更好的模型。
「Infra」频道最新
- LZ4:C 语言编写的极速压缩算法,GitHub 1.2 万星老牌项目 — lz4 · 2026-11-05
- Anthropic 招股书将算力获取列为主要风险,反成巨头利好 — pstAsiatech · 2026-11-05
- 新 AI 框架「Let there be light」可在光学硬件上直接运行 — striketheviol · 2026-11-05
- OpenAI 承诺自付未来数据中心全部电费与电网成本 — VraserX · 2026-11-05
- 开发者实测 Framework 台式机跑 RL LoRA 训练:AMD 生态已基本开箱即用 — qtnx_ · 2026-11-05
- Hugging Face 周二直播 Local AI 301:四讲搞定模型量化 — huggingface · 2026-11-05