Qwen3.8-Flash-Next 低显存推理优化方案引热议

开发者 EyalToledano 针对 Qwen3.8-Flash-Next 模型实现 MoE 推理优化：将 60% 的专家权重存储在磁盘并按需流式传输到内存（类似 n-gram streaming 技术），在 M4 Max 上以仅 37GB 内存跑通全部专家，速度达 4073 tok/s。HamsterResearch 团队基于 pMLX 进一步推出动态量化与专家流式加载，用户只需下载一次全精度模型，引擎即可根据上下文长度和最低速度需求自动适配最佳量化方案。

2026-08-29 ~ 2026-08-30 · 4 条相关

• Qwen3.8-Flash-Next 仅用 37GB 显存运行全专家 — EyalToledano · 2026-08-29
• Qwen3.8 优化：磁盘流式加载实现 40 tok/s — samfajreldines · 2026-08-29
• Qwen3.8 优化版提速至 73 tok/s — EyalToledano · 2026-08-29
• HamsterResearch 推出动态量化：M4 Max 内存仅 37GB 跑满 Qwen — EyalToledano · 2026-08-30