双 3090+老 EPYC 跑 177B MoE 模型:38 tok/s 仅花 800 美元
ludos1978 · reddit · 2026-09-13
楼主分享了本地运行 Qwen3-Flash-Next(177B 总参数/6B 激活 MoE,IQ4XS 量化)的硬件方案与实测数据:
- 配置:EPYC 7551(Zen1,32c/64T)+ Supermicro H11SSL-i + 128GB DDR4-2133 八通道 + 2×RTX 3090(48GB)+ 1500W 电源
- 跑法:llama.cpp,专家权重放系统内存,热点专家缓存进显存
- 性能:单请求 38 tok/s;两个并行请求各降至 4 tok/s
楼主还有 $800 预算,纠结是加第三张 3090 还是升级 Zen2 EPYC(同插槽可换),并求证加内存/更快内存的实际收益,目标是多 agent 并行时保住速度。
「Infra」频道最新
- AI 烧钱加深自由现金流缺口，微软靠发债 250 亿美元守住正值 — Kr00ney · 2026-10-31
- Google 太空数据中心首次跑通:轨道 TPU 完成 Gemma 推理并回传 — ns123abc · 2026-10-31
- Google Cloud 花费上限正式上线：新增 API、实时成本报告与每月自动重置 — rseroter · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- ClickHouse 曝未认证远程代码执行漏洞 CVE-2026-116366 — Hacubu · 2026-10-31
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31