官方 llama.cpp 浪费硬件,Strix Halo 优化分支解码近 60 t/s

feelspeaceman · reddit · 2026-09-08

核心问题

作者观察发现，Strix Halo（gfx1150）社区约 90% 用户在用的官方 llama.cpp 对该硬件完全未优化，实际速度难以达到硬件理论上限的一半，跑 Qwen 3.8 Flash Next 时仅约 20+ t/s decode。

三个替代方案

• halogen-flash-server（peonist-ai）：专为 Strix Halo 与 Q38FN 优化，实测约 50 t/s decode、1200 t/s prefill，作者称其为「Ninfer for Strix Halo」
• myhacsint 的 llama.cpp 实验分支（strix-halo-qwen4exp）：约 60 t/s decode、600 t/s prefill
• halo-box/strix-llama.cpp：约 30 t/s decode、800 t/s prefill，是 r/StrixHalo 社区持续更新并带 Discord 的首个 fork，最新提交大幅提升了 prefill 速度

各方案均附有社区用户实测确认，作者推荐 Q38FN（Qwen 3.8 Flash Next）作为 Strix Halo 的首选模型。

原文链接 →

「Infra」频道最新

• Tenstorrent 融资 15 亿美元，估值 62 亿较去年翻倍以上 — Beth_Kindig · 2026-10-27
• Anthropic 拟向 SpaceX 采购 1205 亿美元算力,满载后月付约 31 亿 — XFreeze · 2026-10-27
• 恶搞：用 JEV 决策模型替换 Raft 共识，写入吞吐暴跌 99.98% — irombie · 2026-10-27
• Cadence 进入领域专用 AI 模型赛道,芯片设计自动化再加码 — karlfreund · 2026-10-27
• Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储 — qdrant_engine · 2026-10-27
• Nebius 获 Citi 35 亿美元融资额度用于 GPU 采购与数据中心 — Beth_Kindig · 2026-10-26

更多「Infra」频道 AI 资讯 →