4 卡 72GB 玩本地推理不够用？升级 Epyc 8 通道值得吗
mrgreatheart · reddit · 2026-09-25
楼主现有 Intel Ultra 7 + 64GB DDR5 平台，插了 3090、5070 Ti 和两张 5060 Ti 共 72GB 显存，但 PCIe 通道捉襟见肘：一张 5060 Ti 被迫走 x4 芯片组通道，性能损失太大。他在考虑换 Epyc 7443 + 256GB 八通道 DDR4（约 153GB/s 带宽）的方案，好处是所有 GPU 都能上 CPU 直连的 x16/x8，且大内存可以把跑不进显存的大模型溢出到内存。
目前的实际速度：Qwen3.8-flash-next 用 IQ4XS 量化在 llama.cpp 下约 300 pp / 40 gen，用 exllamav3 的 3.05bpw 量化可达 1200 pp / 25 gen。楼主想请教有没有人在 Epyc 上做过大模型 CPU offload，实际可用性如何。
「Infra」频道最新
- 曝谷歌下周用猎鹰9号送TPU上天，测试轨道AI数据中心 — McDonaghMatthew · 2026-09-25
- NVIDIA 登顶美国企业市值榜,十年走势图引人注目 — lemire · 2026-09-25
- LithosAI 用 GPU 虚拟化推出多档推理服务，冲击 agent 推理性价比前沿 — JiaZhihao · 2026-09-25
- 模拟芯片跑注意力快 H100 百倍、省电七万倍，Nature 论文挑战冯·诺依曼架构 — anselm · 2026-09-25
- 医疗 AI 的 GPU 调度难题：临床推理要低延迟，科研任务要高吞吐 — Arindam_1729 · 2026-09-25
- 开源 LexiPanel:单面板管理本地 GPU 上的聊天/图像/语音 AI — W61k3r · 2026-09-25