开发者把 180B 级 Qwen MoE 剪枝压缩进 48GB Mac

开发者 Eyal Toledano 发布系列实验，把 Qwen3.8-Flash-Next（180B MoE）通过专家剪枝与 MLX 量化压缩到普通 Mac 可运行的规模：剪枝至 288 专家并配 4-bit 量化后仅需 39GB 内存（原版约 97GB），HumanEval 保持 91.5%，为本地运行超大 MoE 模型提供了可行路径。

已确认

• 基于 Qwen3.8-Flash-Next（180B MoE）做结构化剪枝（REAP 方法）：分析真实代码会话中的专家活跃度，将每层 512 个专家缩减至 288 个，配合 MLX 原生 4-bit 量化，常驻内存仅 39GB，HumanEval 保持 91.5%，且比原版 q4 更小（m1、m3、m4、m6）。
• REAP-384（剪掉 25% 专家）中间结果：占用从 97GB 降到 80GB，相对原版保持约 89% 性能（m5）。
• 8-bit 变体 Qwen3.8-Flash-Next-REAP-288-MLX-8bit：HumanEval 90.9%，常驻内存 70GB，比原 8 位量化显存占用降 27%（m2）。
• 结合 NVMe offload（PLE）与专家剪枝，可在单张 48GB 显存卡上运行 180B 级模型；在 Apple 统一内存架构上用 mmap + page 级优化（m7）。
• 自研纯 MLX 推理引擎：零精度损失下解码达 65 tok/s（目标 100+），并通过 Expert paging 将显存需求减半（m8）。
• 作者更正：28 tok/s 的解码速度适用于 M4 Max 等高带宽机型；MacBook Air 带宽更低解码会慢很多，但模型仍可在 48GB 显存预算内运行（m9）。

为什么重要

• 该实验证明通过结构化剪枝加激进量化，超大 MoE 模型可以在消费级 Apple 统一内存设备上本地运行，大幅降低部署门槛。
• 剪枝以极小的基准损失（HumanEval 仅从原版略降）换取内存近乎减半，为 MoE 模型压缩提供了可复现的方法论。
• 纯 MLX 引擎与 Expert paging、NVMe offload 等系统工程手段展示了进一步提速和省内存的空间。

2026-08-27 ~ 2026-08-28 · 9 条相关

• Qwen3 MoE 剪枝实测：180B 级模型压到 65GB 可跑笔记本 — EyalToledano · 2026-08-27
• 72GB 显存跑 180B 模型？offload+剪枝实测 — EyalToledano · 2026-08-27
• Qwen3.8-Flash-Next 塞进 48GB MacBook：剪枝+查表上盘只用 39GB — EyalToledano · 2026-08-27
• 【源头】两个技巧让 Qwen3.8-Flash-Next 塞进 48GB MacBook Air — EyalToledano · 2026-08-28
• 【源头】Qwen3.8 180B 级模型仅需 39GB 显存即可运行 — EyalToledano · 2026-08-28
• 【源头】剪枝 512 至 288 专家，让 180B 模型跑上 Mac — EyalToledano · 2026-08-28
• Qwen3.8 变体实测：8 位量化显存占用降 27% — EyalToledano · 2026-08-28
• 纯 MLX 引擎推理提速至 65 tok/s，显存需求减半 — EyalToledano · 2026-08-28
• REAP 剪枝加 MLX 量化：180B 级 Qwen 模型塞进 39GB 内存 — 0xIlyy · 2026-08-28