Mac Mini 上给 Qwen Flash Next 做 n+2 预取，吞吐再涨 8%
turtleninja99 · reddit · 2026-10-13
作者在 Mac Mini M5 64GB 上通过 SSD 流式加载优化 Qwen Flash Next 的推理，采纳 LocalLLama 社区建议实现了 n+2 lookahead 预取——不只在当前层的前一层预取专家权重，而是提前两层开始加载，实测 对话任务提速 8%、代码任务提速 4.2%。作者指出这些优化是叠加在各种已有优化之上的，在纯净基线环境收益可能更大。项目已在 GitHub 开源（skeggsguy/Flash-next-ssd）。
「Infra」频道最新
- 实时语音 Agent 模型怎么选:Reddit 汇总专有部署实测,LLM 延迟可从 1 秒降到 0.3 秒 — Natural-Chemical1513 · 2026-10-13
- 预测：Opus 5.5 将能在 24GB 单卡上本地运行 — TheZachMueller · 2026-10-13
- 纯 C 推理引擎 Colibri 开源:消费级硬件跑 2.8T 参数 MoE 模型 — tom_doerr · 2026-10-13
- AI agent 该跑在哪:云还是本地是个错误问题,应按组件拆分 — DavidLinthicum · 2026-10-13
- RTX 5090 传停产,ComfyUI 用户寻找替代 GPU — Impressive-Scene-562 · 2026-10-13
- 在荒野湿地自建对等网络跑到 350Mbps,还让 Agent 顺手做了官网 — vincent_koc · 2026-10-13