Strix Halo 跑 Qwen 3.8 Flash Next:换 gufo 推理,预处理速度翻倍于 llama.cpp 分支
fallingdowndizzyvr · reddit · 2026-09-28
Reddit 用户 w3vic(非项目作者)推荐用开源推理框架 gufu(gufo-org/gufo)在 AMD Strix Halo 上跑 Qwen 3.8 Flash Next,称在高上下文场景下明显快于 llama.cpp。实际聊天中测得 6204 chunks 用时 119 秒,encode 1239 tok/s、decode 57 tok/s(开启 MTP),其中 PP(prefill)速度约为最快的 Strix Halo 专用 llama.cpp 分支的两倍,主线程 llama.cpp 更是远不及。gufo 也支持其他模型,但当前支持列表还较小。
「Infra」频道最新
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- 美国 BIS 新规封堵境外远程调用先进 AI 芯片的漏洞 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16