5090 与 Strix Halo 实测 Qwen3.8 量化：Gufo 引擎解决工具调用翻车
awitod · reddit · 2026-10-20
作者在 5090+4090（152GB 总内存）工作站和 128GB Strix Halo 上大量实测 Qwen3.8-Flash-Next 的各种量化版本。结论：最佳结果是 ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF（Q3S）；更大的 unsloth 量化问题很多，工具调用频繁出错。改用开源的 Strix Halo 专用推理引擎 Gufo（GitHub 810 星）后，Strata 上的问题消失，但 Gufo 仅限 Strix Halo，无法用于 5090/4090。Strata 针对 QFN 做了 LlamaCpp 优化但存在一类无法绕过的坏输出。作者想找 CUDA 平台上的同类方案。
「Infra」频道最新
- PyTorchCon 北美大会圣何塞开幕,七大技术轨道覆盖全栈 — PyTorch · 2026-10-20
- 想花不到 1 万美元买张 5090 竟然一卡难求 — CedricMakes · 2026-10-20
- 亚马逊称其自研 AI 芯片将支持主流编程语言，直接叫板 Nvidia — pstAsiatech · 2026-10-20
- Q-CTRL:容错量子计算蓝图里超 99.5% 的量子比特处于闲置 — MJBiercuk · 2026-10-20
- OpenRouter token 用量趋平，"token-maxxing"时代落幕 — pranshuchittora · 2026-10-20
- Nscale 与 Anthropic 再谈 450 亿美元算力大单，规模与 8 月持平 — TechCrunch AI · 2026-10-20