Qwen3.8-Flash-Next 4-bit 本地机配置单:96GB 内存+二手 3090 混合推理
Confident-Truth3607 · reddit · 2026-10-06
作者测试约 20 个开源模型后选定 Qwen3.8-Flash-Next(medium 推理档)作为本地机核心——在强制文档检索的 harness 下,它是唯一不编造配置项的模型;GLM-5.3-Flash 表现更好但超预算。配置(荷兰价格):Ryzen 5 9600(€200)、MSI B850 主板(€170)、2×48GB DDR5-5600(€1199-1549,只用两根以避免四根降速)、二手 RTX 3090(€1150-1500)。方案约 79GB 模型放内存(含 28.8GB n-gram 表),20.6GB 放显卡。他列出疑问:6 个 Zen 5 核心跑 40 层 CPU MoE 会不会拖慢生成、96GB 内存剩余 17GB 是否够 OS+沙箱+嵌入模型、DDR5-6000 是否值得、Unsloth MTP 分支的 CPU expert 加速与 prompt cache 兼容性、以及便宜的 Arc Pro B60(€772)在 Vulkan/SYCL 下能否跑。
「Infra」频道最新
- Polars 2.0 发布：流式引擎成默认，SQL 升为一等公民 — banteg · 2026-10-06
- 3090+16GB 内存跑 Qwen3-Next-80B,MoE 专家替换实现约 3 倍解码提速 — Zestyclose_Reality15 · 2026-10-06
- HBM 砍单传闻下 Disco 成热门做空标的，空头警告风险 — zephyr_z9 · 2026-10-06
- TensorFold 绑定双 TB5 连接,Apple Silicon 推理吞吐提升 83% — AIFlow_ML · 2026-10-06
- 双卡 RX 6800 跑 Qwen3 27B:换 Linux+ROCm 后速度提升明显 — SaGa31500 · 2026-10-06
- DeepSeek 开源 GPU BLAS 内核库 DeepGEMM,GitHub 破 8500 星 — deepseek-ai · 2026-10-06