4090加3060双卡推理会降速吗?社区经验分享

cosmoschtroumpf · reddit · 2026-07-30

用户询问在4090基础上加装3060进行双GPU推理的性能影响。社区讨论:双卡会因PCIe带宽和跨卡通信降速,但可增加上下文长度;推荐使用llama.cpp或vLLM,支持显存和计算拆分;建议尝试Q4量化以平衡速度和上下文。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →