单台Strix Halo跑Qwen大模型,长上下文完胜六卡GPU堆
fallingdowndizzyvr · reddit · 2026-10-01
Reddit 用户实测对比了 AMD Strix Halo(Ryzen AI Max 一体机)与一堆消费级 GPU(2x RTX 5070 Ti、2x RX 7900 XTX、2x RTX 5060 Ti 16GB)运行 Qwen QFN(176B A3B MoE,Q4 量化,约 104GB)的表现。
结果反直觉:在 160K 长上下文下,单台 Strix Halo 全面胜出:
- 六卡 GPU 堆:PP 215.73 / TG 16.29 t/s
- Strix Halo(Gufo 优化后端):PP 1227.12 / TG 22.04 t/s
- Strix Halo(Halo Box 分支):PP 587.99 / TG 21.24 t/s
- Strix Halo(llama.cpp 主线 0.4.1):PP 113.48 / TG 7.06 t/s
核心原因是消费级 GPU 显存不足,多卡流水线与跨卡通信严重拖慢长上下文吞吐,而 Strix Halo 的统一内存优势在长上下文场景下体现得淋漓尽致。后端选择影响也很大:Gufo 优化版比 llama.cpp 主线的 TG 快 3 倍以上。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16