16GB Mac 上跑 Qwen3.6
andreaborio · hn · 2026-07-18
展示了如何在 16GB M1 Pro 上运行 Qwen3.6-35B-A3B，核心思路是使用 SSD-streamed MoE，把模型权重/专家按需从 SSD 流式加载，而不是一次性全部塞进内存。
这类方案的看点在于：
- 让原本偏大的 MoE 模型在小内存机器上可用
- 重点不在“模型发布”，而在本地推理与存储带宽之间的工程折中
- 对想在笔记本上跑大模型的人有直接参考价值
「Infra」频道最新
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11