72GB 显存跑 180B 模型？offload+剪枝实测
EyalToledano · x · 2026-08-27
通过结合 NVMe offload (PLE) 和专家剪枝 (REAP)，在单张 48GB 显存卡上运行 180B 级别的大模型成为可能。技术细节如下：
- mmap 优化：在 Apple 统一内存架构上，mmap + page-in-touched-rows 可将 51GB 的 n-gram 表留在 SSD，仅按需调入，几乎无性能损耗。
- 性能表现：Qwen3.8-Flash-Next (Q4KXL) 实测约 22 tok/s 解码，500-660 tok/s 预填充，长语境下 Decode 性能仅下降 13%。
- 双重压缩：
- PLE offload 将 25GB 的表从显存移至 SSD。
- REAP-256 剪枝将 63GB 专家池缩小。
- 最终效果：模型大小可从原生压缩至 40GB，实现在 48GB VRAM 上运行 180B 模型。
该方案特别适合 MLX 框架，并能进一步将进程移至 CPU 以节省显存。
所属事件:开发者把 180B 级 Qwen MoE 剪枝压缩进 48GB Mac(9 条相关)→
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16