两个技巧让 Qwen3.8-Flash-Next 塞进 48GB MacBook Air
EyalToledano · x · 2026-08-28
作者更正：此前说 48GB MacBook Air 的情况适用于 M4 Max 等高带宽机型（28 tok/s）；MacBook Air 带宽更低，解码会慢很多，但模型仍可在显存预算内运行。
核心做法是在 MLX 上跑 q4 量化（仅占 39GB 内存），q8 也只需 50GB，关键叠加了两个技巧：
- REAP 剪枝：把专家池从 68GB 压到 35GB；
- 51B n-gram 表改存 SSD 而非内存：patch 对分片做 mmap，每次查找直接从磁盘读约 100 字节再反量化。
所属事件:开发者把 180B 级 Qwen MoE 剪枝压缩进 48GB Mac(9 条相关)→
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15