MoEShift 让 24GB Mac 跑 125B 模型：M5 Pro 预 fill 374 tok/s
dave-tro · reddit · 2026-11-09
开发者发布开源推理后端 MoEShift，专为内存受限的 Apple Silicon Mac 设计，通过 SSD offload 运行大模型，并给出 Qwen3.8-Flash-Next 125B（GSQ-RCO IQ3XXS 量化，磁盘 76GB）在两台 24GB Mac 上的实测：
- M4 Pro vs M5 Pro：短 prompt 解码 9.84 → 14.69 tok/s；长 prompt prefill（6060 tokens）199 → 374 tok/s；长 prompt 解码 9.57 → 13.14 tok/s；推理总时长 83.9s → 55.1s
- 两台机器峰值内存均仅 8.5GB
- prefill 表现意味着该模型在聊天/agent 场景已实际可用
安装：brew install davide-troiani/moeshift/moeshift，向导自动完成模型选择与配置，只需足够 SSD 空间。作者称对即将到来的 Qwen4 MoE 同样有参考价值，并征集其他 Apple Silicon 配置的测试结果。
「Infra」频道最新
- 特斯拉 Optimus 内存砍至 144GB,减 33% 应对 DRAM 短缺 — JOBhakdi · 2026-11-09
- Clairvoyance 推出 Hivemind：把分散在各 PCs/Macs 的 GPU 汇成算力池 — draginol · 2026-11-09
- InferenceBench 一年趋势:前沿模型推理优化加速比从 3x 涨到 12x — maksym_andr · 2026-11-09
- 谷歌发布 TPU 8tx 与 8i Max：机密计算训练与低延迟推理双线出击 — testingcatalog · 2026-11-09
- PlayCanvas开源黑客帝国数字雨特效：3D高斯泼溅一键变身 — willeastcott · 2026-11-09
- 70MB 陈旧构建产物致 Gemini CLI 连续发包失败,一行 rmSync 修复 — Likhith-BlueLotus · 2026-11-09