开源推理引擎让 Gemma 4 26B 在 M 系列 Mac 仅占约 2GB 内存

gitpusher42 · hn · 2026-07-29

开源 Swift 推理引擎可在 M 系列 Mac 上用约 2GB 内存跑 Gemma 4 26B

开发者发布了一个名为 TurboFieldfare 的开源推理引擎，使用 Swift + Metal 实现，目标是在任意 M 系列 Mac 上，以大约 2GB 内存运行 Gemma 4 26B-A4B-IT。

核心做法

• 该模型的 4-bit 量化权重约 14GB，在 8GB 甚至 16GB Mac 上，叠加系统、应用和 KV cache 后通常很难直接跑。
• 运行时把 共享层 和 KV cache 放在内存里。
• 只把每个 token 需要的 路由专家 从 SSD 流式加载。
• 通过小型专家缓存和受限并发 pread，在 SSD 读取期间让 GPU 继续计算共享层。

表现与功能

• 在 8GB 的 M2 MacBook Air 上，速度约 5–6 tok/s。
• 在 M5 MacBook Pro 上，速度约 31–35 tok/s。
• 还提供了一个 兼容 OpenAI 协议 的本地服务端，支持 流式输出、工具调用，以及复用 KV cache 前缀。
• 首次运行会从 Hugging Face 下载约 15GB 权重。

作者表示自己做了 100+ 次实验 才跑通，并欢迎反馈。

原文链接 →

「Infra」频道最新

• Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
• Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
• Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
• CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
• MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
• 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16

更多「Infra」频道 AI 资讯 →