攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？
infectiousstupidity · reddit · 2026-11-04
一位本地推理玩家在 r/LocalLLaMA 征求长期硬件方案建议，手头有 4x RTX 3090 + 3x RTX 3060（共 132GB 显存），面临两个选择：
- 方案一：购入 SP3 主板（如 H12SSL-I）+ 128–256GB ECC DDR4 + 延长线，把 7 张卡整合进一台 EPYC 7302P 系统，PCIe 通道和内存带宽更强，但主板+内存就要 $2500–3000（二手 H12SSL-NT 单板约 $1000–1200）。
- 方案二：4x 3090 留在现有 X570 平台（PCIe 4.0 x8/x8/x4/x4），3x 3060 塞进 B460 副机，便宜但受 PCIe 和内存限制。
工作负载主要是基于 STRATA、vLLM 的 agentic coding：大 MoE 做规划/审查，Qwen 27B dense 做实现，小模型跑路由、embedding、rerank、语音转写等后台任务。作者提出的具体问题包括：EPYC 7302P 会不会拖慢多模型并发和 CPU-offload 的 MoE 推理、128–256GB 内存能否显著扩展可跑的模型、大小卡是否该分工专职等，并明确表示只想要一手实测经验而非理论带宽数字。
「编程与Agent」频道最新
- MCP 服务器暴露上百端点怎么办：搜索-取规格-调用三件套解法 — sandeepK1125 · 2026-11-04
- 腾讯 Hy4 智能体自训小模型超越官方基线,称迈向递归自我改进 — heyshrutimishra · 2026-11-04
- Butterfly 工具用图数据库回溯多智能体故障,定位准确率达 62.5% — JeremyCMorgan · 2026-11-04
- NatWest 演讲:AI Agent 好写难验,83% 通过率掩盖 54 分差距 — AI Engineer · 2026-11-04
- 免费课程：生成式媒体 Agent 的四大生产难题与解法 — Al_Grigor · 2026-11-04
- 额度重置夜：Codex 恢复 100%，Claude 仅剩 10% — rudrank · 2026-11-04