MoEspresso 让 32GB M1 Max 本地跑 Qwen3.8-Flash-Next 达 12-15 tok/s
marcobaldo · reddit · 2026-09-28
推理引擎 MoEspresso 的作者发布第三版:在 2021 年的 32GB M1 Max 上,以 12-15 tok/s 的解码速度本地运行 125B 的 Qwen3.8-Flash-Next(需关闭浏览器等占内存应用)。
核心技术点:
- Cache-Prior 专家缓存偏置:解码时对已驻留内存的专家加偏置,同时始终保留模型选出的两个最强专家;prefill 阶段不偏置。思路受 Apple AFM 3 剪枝工作与 Cache-Prior 论文启发,详细文档见仓库 docs/cacheprior.md。
- 量化与内存:大量 routed projection 使用 IQ2K(标准 MLX 和主线 llama.cpp 都不支持),通过自研 mlx-iqk 库在 Metal 上执行;KVarN K4/V4 让上下文增长时留更多内存给常驻专家。
- 默认策略自动化:专家装不下时自动启用 SSD 流式读取和 Cache-Prior。
作者还给出 48 题可复现基准:Qwen3.8 Flash @ MoEspresso 得 84.3 分,超过 GPT-6 Luna xhigh(81.4)、Claude Opus 4.8 xhigh(80.3)等托管服务,略低于 hosted Qwen3.8 Flash(89.7)和 GPT-6 Sol medium(89.2)。
通过 Homebrew 安装:brew install steadfastgaze/tap/moespresso,代码与模型均在 GitHub/HF 开放,后续计划支持 Linux 和 AMD Strix Halo。
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16