三张 AMD 显卡跑 Qwen 180B：llama.cpp Vulkan Q4 达 19-21 t/s

IVequalsW · reddit · 2026-11-01

Reddit 用户用老至强平台搭建本地推理服务器：64GB DDR4 四通道 + 两张 RX 6800 16GB + 一张 RX 580 2048sp，通过 llama.cpp 的 Vulkan 后端跑 Qwen Flash Next 的 180B Q4 量化版，用 --moe-cache-mib 16384 限制 MoE expert cache。实测全 262K 上下文下生成速度 19-21 t/s。

一个关键踩坑：只要用 -c/--ctx-size 显式设置上下文长度，性能就会掉到 8 t/s，即使设成更小的 100K 也一样——不设该参数反而最快。