9070 XT 混搭 RTX 3080 跑 LLM 实测:30-50 tok/s 的教训与调优
BrightCandle · reddit · 2026-10-19
Reddit 用户分享了 9070 XT + RTX 3080 双卡组合跑本地 LLM 的踩坑实录,结论是这套组合并不理想:9070 XT 显存带宽更低、ROCm/Vulkan 支持较差,3080 又只有 PCIE 4.0 x4。
关键经验:
- 显示器千万不要接在 NVIDIA 卡上,否则 Windows 会把它设为主卡,性能断崖式下跌,-mg 1 等设置都无法挽回
- 对 Qwen3.8-27B,Tensor split 反而更慢,layer split 才是最优(受限于 4.0 x4 带宽需经内存通信)
- llama.cpp 侧最终只保留 MTP(带来约 2 倍提升)、单并行槽和 flash attention
实测 Qwen3.8 28B Q4K-M + q8 KV 约 30-50 tok/s,64k 上下文比 128k 还慢,任务管理器显示两张卡分别仅 60%/30% 占用,性能明显浪费。作者计划后续隐藏 3080 单测 9070 XT 的 ROCm/Vulkan 表现。多出的 10GB 显存对跑 Qwen3.8 仍有实际价值。
「Infra」频道最新
- 合并量4个月暴涨12倍,Anthropic 自建版本控制系统 Scion 替代 Git — Pavan_Belagatti · 2026-10-19
- 128GB Mac Studio 跑 antirez Dwarfstar,SSD 卸载仍有 16 tok/s — antirez · 2026-10-19
- HBM 格局或将生变:传 SK 海力士 HBM4 封装延迟,三星或抢份额 — tengyanAI · 2026-10-19
- 安全研究员警告:约 1000 个云端推理端点或已被攻击者控制 — matthew_d_green · 2026-10-19
- AWS 开源 TorchNeuron:Trainium 芯片成为 PyTorch 原生设备 — PyTorch · 2026-10-19
- Container machines:Apple 容器运行时独有的持久化 Linux 开发虚拟机 — AIFlow_ML · 2026-10-19