自研推理引擎让 12GB 显存跑 Qwen3.8-Flash-Next 达 65 tok/s
KnownAd4832 · reddit · 2026-09-25
作者此前用 IQ3XXS 量化在 12GB RTX 5070 上跑 Qwen3.8-Flash-Next 只有 15 tok/s 输出。之后他专门针对这个模型和这台电脑自研了一个推理引擎（Strata，已开源，一键安装，目前仅优化 CUDA），同一量化下输出速度提升到约 65 tok/s，prompt 处理约 430 tok/s，2-bit 量化用 RCO-GSQ 方案还能更快。
硬件配置：64GB DDR5-5600 + RTX 5070 SFF + Ryzen 5 7600，Windows。128K 上下文下的实测：
- 输出速度：Q20 65.1 / IQ2XS 52.0 / IQ3XXS 44.8 tok/s
- Prompt 处理：Q20 543 / IQ2XS 472 / IQ3XXS 414 tok/s
- 内存需求（RAM+VRAM）：Q20 最少 37.6GB，IQ2XS 39.2GB，IQ3XXS 47GB（视觉编码器另需 0.91GB）
模型来自 ISTA-DASLab 发布的 GGUF 量化版本。
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11
- Anthropic 称用 AI 3 天完成 AMD GPU 移植,动摇 Nvidia CUDA 护城河 — The Decoder · 2026-11-11