官方 llama.cpp 浪费硬件,Strix Halo 优化分支解码近 60 t/s

feelspeaceman · reddit · 2026-09-08

核心问题

作者观察发现，Strix Halo（gfx1150）社区约 90% 用户在用的官方 llama.cpp 对该硬件完全未优化，实际速度难以达到硬件理论上限的一半，跑 Qwen 3.8 Flash Next 时仅约 20+ t/s decode。

三个替代方案

halogen-flash-server（peonist-ai）：专为 Strix Halo 与 Q38FN 优化，实测约 50 t/s decode、1200 t/s prefill，作者称其为「Ninfer for Strix Halo」
myhacsint 的 llama.cpp 实验分支（strix-halo-qwen4exp）：约 60 t/s decode、600 t/s prefill
halo-box/strix-llama.cpp：约 30 t/s decode、800 t/s prefill，是 r/StrixHalo 社区持续更新并带 Discord 的首个 fork，最新提交大幅提升了 prefill 速度

各方案均附有社区用户实测确认，作者推荐 Q38FN（Qwen 3.8 Flash Next）作为 Strix Halo 的首选模型。

「Infra」频道最新