单张 RTX 5080 跑 Qwen3.8 Flash Next：IQ3_S 量化峰值 275 tok/s

yehyakar · reddit · 2026-10-29

用户 yehyakar 在 Basalt（Strata 分支）上创下新纪录：在单张 RTX 5080（16GB，PCIe 5.0 x16）+ 64GB DDR5 6400 + Core Ultra 9 285K 的配置上，以 IQ3S 量化运行 Qwen3.8 Flash Next，实测 prompt 处理达 5500 tok/s，opencode 编码实时会话中生成峰值 275 tok/s，其中代码与工具调用部分峰值 275 tok/s、推理链约 190 tok/s。作者表示 IQ3S 量化"完全可用"，自己提交的部分优化 PR（xyehya）尚待合并，但上游已包含可观的性能与内存优化。代码开源于 GitHub。