16GB Mac 上跑 Qwen3.6
andreaborio · hn · 2026-07-18
展示了如何在 **16GB M1 Pro** 上运行 **Qwen3.6-35B-A3B**，核心思路是使用 **SSD-streamed MoE**，把模型权重/专家按需从 SSD 流式加载，而不是一次性全部塞进内存。 这类方案的看点在于： - 让原本偏大的 MoE 模型在小内存机器上可用 - 重点不在“模型发布”，而在本地推理与存储带宽之间的工程折中 - 对想在笔记本上跑大模型的人有直接参考价值