MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s
dave-tro · reddit · 2026-10-30
开发者发布开源运行时 MoEShift alpha，让 24GB 统一内存的 M4 Pro Mac mini 在不关闭其他应用的情况下运行 Qwen3.8 Flash Next 125B（ISTA-DASLab GSQ-RCO IQ3XXS 量化，磁盘占 76GB），峰值进程内存仅 7.5GB、生成约 10 tok/s。
与 Strata 0.2.7 同模型冷启动对比（6k prompt + 256 输出）：
- 总推理耗时 63.3s vs 129.9s
- Prompt 处理 160.8 tok/s vs 61.8
- 生成 9.9 tok/s，峰值内存 7.5GB vs 14GB
- 短 prompt 下生成 10.44 vs 8.4 tok/s，峰值内存 6.4GB vs 14GB
原理：按需从 SSD 加载专家、RAM 缓存常用专家、读写与 GPU 计算重叠，基于 llama.cpp 和 Lookahead Expert Scheduling，保留原始量化权重与专家路由，无投机解码。
「Infra」频道最新
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力，CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31
- SOMA 推出企业级提示压缩层，宣称推理成本省 20% 以上 — markjeffrey · 2026-10-31