96GB Mac Studio 能否跑 Qwen3.8？SSD 卸载实测分析
Mxmtm · reddit · 2026-08-27
用户计划购买 96GB Mac Studio 运行 125B 参数的 Qwen3.8-Flash-Next，核心依赖 llama.cpp 的 PLE/n-gram SSD 卸载功能。文章详细计算了模型各部分占用（模型约 103.8 GiB，KV 缓存约 8 GiB），指出若无 SSD 卸载需 128GB 内存，而开启后 96GB 版本（约 84 GiB 可用）可勉强容纳。用户探讨了当前实现状态（Metal I/O 支持不确定）、MLX 的局限，并反驳了“SSD 随机读取会导致 1GB/token 流量”的悲观观点，推算实际负载应在 256KB/token 左右。
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15