EPYC 32 核加 44GB 显存跑本地大模型，还有必要自建吗？
sitytitan · reddit · 2026-11-16
Reddit 用户求教本地推理配置建议：EPYC 7502P 32 核、8 通道内存主板、512GB DDR4，配 1 张 RTX 4070 12GB 加 2 张 RTX 5060 16GB，共 44GB 显存。目标是跑更大的模型，不在乎 token 速度。楼主困惑于各种推理实现不知如何选，并疑问在 Project Maya 这类可直接从 NVMe 流式加载模型的时代，这种老平台是否还有意义。
「Infra」频道最新
- SGLang Summit 旧金山开幕：一天 23 场 session 中国开发者扎堆 — ying11231 · 2026-11-16
- 权重指纹分析：中国头部模型被指用受限 Blackwell GPU 训练 — elie · 2026-11-16
- 三星开源LittleBit：13B模型压到1GB，0.1比特权重 — dr_cintas · 2026-11-16
- 三星拟投19亿美元在奥斯汀为星链卫星造芯片 — elonmusk · 2026-11-16
- 黄仁勋被传谋求回归英伟达 CEO,Musk 与 Sweeney 联名声援 — The Verge AI · 2026-11-16
- 开源 ComfyUI 节点可把文本编码器卸载到另一台 GPU — randomlyfixed · 2026-11-16