双卡 RX 6800 跑 Qwen3 27B:换 Linux+ROCm 后速度提升明显
SaGa31500 · reddit · 2026-10-06
作者在 Windows 11 + Vulkan 下跑双 RX 6800/6800XT(gfx1030)运行 Qwen3 27B q6k 时遭遇 PP 减半的 bug,迁移到 Linux + ROCm 后问题消失。
- Windows/Vulkan:开启 MTP 时 35 tok/s TG、180 tok/s PP(受 bug 影响);关闭 MTP 20 tok/s TG、360 tok/s PP;tensor split 时 15 tok/s TG、350 tok/s PP。
- Linux/ROCm:tensor split + MTP 达到 45 tok/s TG、450 tok/s PP,小 ub(256)时 PP 更好。
- 作者询问还有哪些推理引擎和参数可试,以及双 gfx1030 的性能上限参考。
「Infra」频道最新
- 推理市场 Antseed 融资 240 万美元,主打无账号直连 200+ 模型商 — Scobleizer · 2026-10-06
- AI 供应链分析:生益科技正赢得英伟达生态 CCL 订单 — zephyr_z9 · 2026-10-06
- Mistral ML4 广度评测达开源 SOTA，安全任务漏洞修复得分 82% — GuillaumeLample · 2026-10-06
- ML4 用 3800 块 Grace Blackwell 训练，Mistral 两轮新集群在路上 — GuillaumeLample · 2026-10-06
- WaveFront 解码让循环语言模型提速最高 4.81 倍,无需训练 — pmttyji · 2026-10-06
- vLLM Semantic Router 主打「模型混合路由」,实测指令显著改变 Agent 工具调用 — colinmcnamara · 2026-10-06