Strix Halo实测:Halogen跑Qwen 3.8最快,预填充1045 tokens/s
deepu105 · reddit · 2026-09-30
作者在AMD Strix Halo(ASUS ROG Flow Z13,Ryzen AI Max+,128GB内存)上系统评测了多款推理引擎运行 Qwen 3.8-Flash-Next 的表现,70W TDP、Arch Linux、LlamaStash 编排。
初筛(64k上下文,32k提示)结果:
- Halogen 0.14.0(闭源,Docker):最快,3轮2.1分钟级别,预填充1045 t/s,解码39.3 t/s,MTP接受率84%
- gufo(开源):紧随其后,冷启动加载快4倍,后续请求首token最快(1.6-1.9s vs 2.6-3.3s)
- CIRU(MTP 3)居第三
- llama.cpp Unsloth 构建(Vulkan/ROCm)明显落后:预填充仅285-314 t/s,总时长4.8-3.7分钟
评测方法:3轮时间为首token+生成1000 tokens累计,每引擎跑2次,并做了7个精确值检索测试(前三名均14/14)。前三名引擎还进一步测试了128k和256k上下文场景。
「Infra」频道最新
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16
- 芯片业铁律:出货量说了算,Intel 输在丢了需求 — TheKanter · 2026-11-16
- 台北101点亮「台湾❤️Jensen」,科技界集体声援黄仁勋 — liu_mingyu · 2026-11-16