16GB Mac 跑起Qwen3.6-35B
Senior_Nothing_4998 · reddit · 2026-07-18
本文介绍了作者把 antirez 的 ds4 runtime 扩展出一条 Metal 路径，用来在 16GB 的 M1 Pro 上运行 Qwen3.6-35B-A3B。
核心思路是：由于 Q4KS 模型约 20.8GB，无法完整常驻 16GB 机器，DS4 通过在统一内存里维护一个有界的 routed experts 缓存，并从 SSD 流式读取 miss 的专家权重，来实现可用运行。
作者给出的实测结果是：在 M1 Pro 16GB 上，production build 的四次 warm median 达到 prefill 15.04 tokens/s、generation 9.77 tokens/s，内存压力保持正常，swapout 计数没有增长。仓库还包含 runtime、ExpertMajor GGUF 布局与转换器、benchmark 细节以及已发布 GGUF 文件链接。作者强调这仍是实验性实现，但已经能在真实 16GB 机器上使用。
「Infra」频道最新
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- Wan2GP AMD 版一键安装上线，6GB 显存即可跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27