Mac Mini M5 64GB 跑 Qwen Flash Next:SSD 流式推理实测附数据

turtleninja99 · reddit · 2026-10-18

作者在 Mac Mini M5 64GB 上优化 Qwen Flash Next(QFN)推理,核心思路是把专家权重从 SSD 预取进内存:prompt 处理用 carousel 缓冲系统,在专家缓存减少时几乎不掉速;decode 用训练过的预测 lookahead 模型提前从 SSD 取专家。

实用结论:

代码与数据开源:github.com/skeggsguy/Flash-next-ssd

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →