本地 LLM 玩家的算力焦虑:2×3090 该不该升级 6 卡工作站

infectiousstupidity · reddit · 2026-10-11

Reddit 用户详述自己的本地 LLM 硬件升级抉择:现有 2×RTX 3090 24GB(跑 vLLM + Qwen3 27B FP8)、2×3060 负责嵌入/重排/后台任务等。为了跑更大的 MoE 模型和并发 coding agents,他考虑拍下一台二手 Supermicro WRX80 工作站(Threadripper PRO、八通道 DDR4、6 条 PCIe x16、2000W 电源、含 RTX 4090),预计总价约 $6,275,卖掉 4090 后本体约 $4,000。帖中还列出当地二手卡价格:3090 约 $1,250、3060 $260–365、5060 Ti 16GB $680+、4090 $2,300。他在纠结是整合成专用 4–6 卡服务器还是继续堆消费级 PC,也考虑过本地稀缺的二手 EPYC 平台,担心买到一两年内就过时的平台。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →