Reddit 实测:AMD EPYC+多卡 3090 跑 Qwen Q8 达 94 tok/s,8 路并发近线性扩展
sleight42 · reddit · 2026-11-01
一位用户在 vast.ai 租用服务器对本地部署方案做了详细 benchmark,核心结论是工作站/服务器级平台物有所值。
测试环境
- b7642:2× RTX 3090,双路 AMD EPYC 7642(96c/192t),504GB RAM,PCIe Gen4 x8,$2.32/小时
- g3090:4× RTX 3090,EPYC 7K62,251GB RAM,Gen4 x16,仅 $0.79/小时
关键发现
- Strata 运行 Qwen 3.8 Flash Next Unsloth Q8:单流 94 tok/s,8 并发下 456 tok/s,并发性能接近线性扩展(8 流时汇总速率显著增长)
- Maya 引擎(GLM 5.3F / DSV4.1F):并发超过 C=1 没有意义,总吞吐基本固定,多流只是瓜分同一输出
- 作者强调应区分两种"聚合吞吐":按流求和 vs 墙钟时间实测总输出,两者在队列机制下差异巨大
结论:与其高价抢 VRAM(3090 价格炒回 6-7 年前水平),不如上大内存+多 CPU 的服务器平台,DRAM 便宜得多。作者还称赞 vast.ai 可按小时租机先测后买。
「Infra」频道最新
- 预测2027年本地小模型将成最大故事，冲击云端推理生意 — ZeYanjie · 2026-11-01
- 内存 18 个月涨 7 倍至 429 美元，Altman 称「看不见的手正在失灵」 — aakashgupta · 2026-11-01
- 原子操作结果随指令数摇摆：600 条还是 599 条无人保证 — matiasgoldberg · 2026-11-01
- PTX 不保证二进制稳定：驱动可随时改写已编译 cubin — matiasgoldberg · 2026-11-01
- 马斯克暗示数据中心提前建成,xAI 2026 年底或达 1000 亿美元 ARR — mitchdeg · 2026-11-01
- 3B 模型训练时渐进复制中层，GSM8K 19% 胜 12% 且省 26% 算力 — burny_tech · 2026-11-01