16GB Mac 上跑 Qwen3.6
andreaborio · hn · 2026-07-18
展示了如何在 16GB M1 Pro 上运行 Qwen3.6-35B-A3B，核心思路是使用 SSD-streamed MoE，把模型权重/专家按需从 SSD 流式加载，而不是一次性全部塞进内存。
这类方案的看点在于：
- 让原本偏大的 MoE 模型在小内存机器上可用
- 重点不在“模型发布”，而在本地推理与存储带宽之间的工程折中
- 对想在笔记本上跑大模型的人有直接参考价值
「Infra」频道最新
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26
- Meta 拟发售至多 950 亿美元股票为 AI 基建输血 — The Decoder · 2026-10-26