4 张 RTX 3090 服务器选型：继续跑 Qwen 27B 还是上 Next Flash
Zyj · reddit · 2026-09-19
作者计划把服务器（Threadripper Pro 5955WX、128GB 八通道 DDR4）从两张 RTX 3090 扩到四张，目前用 vLLM 跑 Qwen 3.8 27B Q8 服务少量用户。
纠结点是：继续跑 Qwen 3.8 27B Q8、用富余显存并行跑些小模型，还是换 Qwen 3.8 Next Flash Q4/Q5（显存可容纳，但不确定是否全面优于 27B 版）。作者还提到 Club 3090 多卡文档如今已严重过时，并向社区征集方案。
「Infra」频道最新
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04
- Gary Marcus 断言数据中心需求已过峰值,新项目正被砍 — GaryMarcus · 2026-11-04
- DeepMem:字节级多尺度记忆架构,省 54% 显存提速 37% — Afshin Khadangi · 2026-11-04