Qwen3.8-Flash-Next 塞进 48GB MacBook：剪枝+查表上盘只用 39GB
EyalToledano · x · 2026-08-27
开发者 Eyal Toledano 把 Qwen3.8-Flash-Next 跑进了 48GB 的 MacBook Air：Q4 量化在 MLX 上仅占 39GB 内存、28 tok/s 解码，Q8 也只需 50GB。原版 Q4 需要 97GB。
他叠了两个技巧：
- REAP 剪枝把专家池从 68GB 砍到 35GB（保留 288 个专家）；
- 把 51B 的 n-gram 表从内存挪到 SSD，补丁用 mmap 映射分片，每次查找直接从磁盘读约 100 字节，在 CPU 上反量化并经 GPU 路径位级验证。
结果：288 专家 + 表在 NVMe 上，加载 6 秒、常驻 39GB、解码 28 tok/s、预填充 600 tok/s，logits 与纯内存版完全一致。代价是 HumanEval 从 93.9% 降到 91.5%（288 专家 vs 原版）。
下一步他已构建好 MTP drafter 和 n-gram lookup drafter 两个投机解码方案，正在跑分。
所属事件:开发者把 180B 级 Qwen MoE 剪枝压缩进 48GB Mac(9 条相关)→
「Infra」频道最新
- ASML CFO 称美国限制对华 DUV 销售将适得其反 — pstAsiatech · 2026-10-15
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15