Unsloth 发布 Qwen3.8-Flash-Next 本地运行指南：1-bit 仅 75GB

gnukeith · x · 2026-11-05

gnukeith 在讨论 Qwen3.8-Flash-Next 的低端硬件运行方案：理论上可以 1Q 运行，把 n-gram 卸载到 SSD、MTP 放 GPU 上加速预测，模型主体驻留 RAM（LPDDR5X 更快）。引用的 Unsloth 文档要点：

Qwen3.8-Flash-Next 是 125B 参数 MoE 多模态模型，基于新 Qwen4 架构，262K 上下文，官方称超过 Claude-4.6-Opus (Max)
可在 75GB 内存设备本地运行，无需 GPU 显存；1-bit 量化仅 75GB（较 BF16 的 355GB 缩小 79%），top-1 准确率保持 80%
新的 Unsloth Dynamic V3.1 量化算法，MTP 支持 1.3-1.7 倍提速；可通过 llama.cpp 或新发布的 Unsloth Desktop 运行
团队跑了 26.2B tokens 的 benchmark（DeepSWE 占 18.1B），含 Terminal Bench 2.1、LiveCodeBench v6、GPQA Diamond 等

「Infra」频道最新