Mac Mini M5 64GB 跑 Qwen Flash Next:SSD 流式推理实测附数据
turtleninja99 · reddit · 2026-10-18
作者在 Mac Mini M5 64GB 上优化 Qwen Flash Next(QFN)推理,核心思路是把专家权重从 SSD 预取进内存:prompt 处理用 carousel 缓冲系统,在专家缓存减少时几乎不掉速;decode 用训练过的预测 lookahead 模型提前从 SSD 取专家。
实用结论:
- 满配约 29 tks decode,省 4GB 给其他应用降到约 26 tks
- 若工作负载偏 prompt 处理,可大幅压缩内存占用(48GB Mac 最多留 12GiB 缓存,64GB 最多 28GiB)
- 非 LLM 保留空间低于约 18GiB 会出现 swap
代码与数据开源:github.com/skeggsguy/Flash-next-ssd
「Infra」频道最新
- ComfyUI 新版被曝启动即全速扫描外接硬盘,用户不满无退出选项 — Mad4reds · 2026-10-18
- 自建家庭机架:8 把 Noctua 风扇压阵,作者称「乱但是我的乱」 — TheZachMueller · 2026-10-18
- Ollama Cloud 承诺零数据留存:托管于美欧且不用于训练 — ollama · 2026-10-18
- DigitalOcean 一键 AI Agent 镜像最低要 25-50GB 磁盘 — vboykis · 2026-10-18
- 单张 4090 跑满 552B DeepSeek-V4.1-Flash:27 tok/s、512K 上下文 — indrasmirror · 2026-10-18
- Strata 0.1.45 前默认贪心解码致循环,附 4-bit 质量与速度实测取舍 — Distinct-Pie2389 · 2026-10-18