双 3090+4 张 P100:Reddit 网友晒本地 LLM 全家桶求改造建议
FearFactory2904 · reddit · 2026-09-14
Reddit 网友 FearFactory2904 用两套旧 Xeon x99 平台组了本地 AI 工作站，征求社区优化建议。
系统一（已运行）：Xeon E5-2630V4 + 128GB DDR4，两张 RTX 3090（无 NVLink，PCIe 3.0 x16）：
- 一张跑 Qwen 3.8 27B Q4 量化，接入 Open WebUI
- 另一张跑 ComfyUI 负责图像生成/编辑，通过 API 被 Open WebUI 调用
- CPU 上跑语音转文字和文字转语音
- 另有 Docker 容器跑 SearXNG 提供 Open WebUI 联网搜索
系统二（组装中）：同款 Xeon + 256GB DDR4，4 张 Tesla P100 16GB。计划用 Q8 量化跑更大上下文的 Qwen 3.8 27B，或试 Qwen 3.8 Flash，并考虑折腾 agentic 应用。
作者想用现有硬件拼出一个功能最全的本地「瑞士军刀」，问大家会如何重新分配这些资源。
「Infra」频道最新
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力，CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31
- SOMA 推出企业级提示压缩层，宣称推理成本省 20% 以上 — markjeffrey · 2026-10-31