REAP 剪枝加 MLX 量化：180B 级 Qwen 模型塞进 39GB 内存
0xIlyy · x · 2026-08-28
HamsterResearch 发布 Qwen3.8-Flash-Next-REAP-288-MLX-4bit：一个 180B 级模型现在只需 39GB 内存即可运行（原版需约 97GB VRAM）。
- MLX 原生 4-bit 量化，比常规 q4 小 60%
- 通过 REAP 方法将专家数从 512 剪枝到 288
- HumanEval 保持 91.5%（原版 93.9%）
这意味着 48GB 或 64GB 的 MacBook 也能本地跑这个大模型，模型已上架 Hugging Face。
所属事件:开发者把 180B 级 Qwen MoE 剪枝压缩进 48GB Mac(9 条相关)→
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15