3090+Arc B70 混插跑 LLM?Reddit 求解 56GB VRAM 混合方案

overand · reddit · 2026-09-15

楼主目前用 3090(24GB)+4070 Ti(12GB)跑本地 LLM,一张 3090 出故障后想入手 Intel Arc Pro B70,凑出 56GB VRAM。他了解到 llama.cpp 可以用 Vulkan 或 CUDA+OpenVINO/SYCL 双后端加 llama-rpc 做跨卡 tensor split,但担心配置痛苦与性能损失,征求有类似混插经验的用户反馈稳定性与速度。帖子里还附了主机配置:Ryzen 5 3600、128GB DDR4(其中一对内存有坏块,靠降频+badram 参数稳定)、Ubuntu Server 24.04。讨论点集中在异构显卡跑推理的可行性与坑。