16GB Mac 跑起Qwen3.6-35B
Senior_Nothing_4998 · reddit · 2026-07-18
本文介绍了作者把 antirez 的 **ds4 runtime** 扩展出一条 **Metal** 路径，用来在 **16GB 的 M1 Pro** 上运行 **Qwen3.6-35B-A3B**。 核心思路是：由于 **Q4_K_S** 模型约 **20.8GB**，无法完整常驻 16GB 机器，DS4 通过在统一内存里维护一个**有界的 routed experts 缓存**，并从 SSD 流式读取 miss 的专家权重，来实现可用运行。 作者给出的实测结果是：在 M1 Pro 16GB 上，production build 的四次 warm median 达到 **prefill 15.04 tokens/s**、**generation 9.77 tokens/s**，内存压力保持正常，**swapout 计数没有增长**。仓库还包含 runtime、ExpertMajor GGUF 布局与转换器、benchmark 细节以及已发布 GGUF 文件链接。作者强调这仍是实验性实现，但已经能在真实 16GB 机器上使用。