双 3090 用户算账:升级 176GB 显存跑新开源模型值不值 7000 美元
eribob · reddit · 2026-09-27
一位本地部署玩家在双 RTX 3090(fp8 量化、129k 上下文)上跑 Qwen 3.8 27B,纠结是否要为新出的 Qwen 3.8 Flash、DeepSeek V4 Flash、GLM 5.3 Flash 等更大 MoE 模型升级硬件。他算了一笔账:
- 最便宜的方案是买两张 CMP 170HX 64GB 矿卡,欧洲验证货源约 6000-7000 美元,可带来额外 128GB 显存,总计 176GB,估计能跑上述模型的 3-4bit 量化;
- 替代方案 4x V100 32GB 更便宜(约半价),但搭建麻烦、功耗高、速度慢;
- 免费选项是等 Qwen 4 27B 发布。
他在问:花这个钱能否换来「明显更聪明」的体验,以及 MoE 是否真能更快。
「Infra」频道最新
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16