双 3090+4 张 P100:Reddit 网友晒本地 LLM 全家桶求改造建议
FearFactory2904 · reddit · 2026-09-14
Reddit 网友 FearFactory2904 用两套旧 Xeon x99 平台组了本地 AI 工作站，征求社区优化建议。
系统一（已运行）：Xeon E5-2630V4 + 128GB DDR4，两张 RTX 3090（无 NVLink，PCIe 3.0 x16）：
- 一张跑 Qwen 3.8 27B Q4 量化，接入 Open WebUI
- 另一张跑 ComfyUI 负责图像生成/编辑，通过 API 被 Open WebUI 调用
- CPU 上跑语音转文字和文字转语音
- 另有 Docker 容器跑 SearXNG 提供 Open WebUI 联网搜索
系统二（组装中）：同款 Xeon + 256GB DDR4，4 张 Tesla P100 16GB。计划用 Q8 量化跑更大上下文的 Qwen 3.8 27B，或试 Qwen 3.8 Flash，并考虑折腾 agentic 应用。
作者想用现有硬件拼出一个功能最全的本地「瑞士军刀」，问大家会如何重新分配这些资源。
「Infra」频道最新
- 反讽:AI 放缓像集体行动难题?台积电靠误判需求就做到了 — dan_s_becker · 2026-09-14
- 低价 token 服务商藏雷:假 tool call 窃密、转卖完整 trace — Nils_Reimers · 2026-09-14
- SemiAnalysis:4-hi HBM 同带宽更少die,推理成本更低成新趋势 — dylan522p · 2026-09-14
- 二手 RTX 5090 挂到 £3900/约 5200 美元，价格离谱 — julianharris · 2026-09-14
- 亚马逊微软在电力之争中站队社区对抗公用事业公司 — pstAsiatech · 2026-09-14
- 纯 SQLite 打造编码助手持久记忆:32MB 内存毫秒级查询 — Rude_Gate7599 · 2026-09-14