95.5GB 的 Qwen 模型塞进 64GB Mac：专家流式加载跑出 27 tok/s
SnooPredictions515 · reddit · 2026-09-19
作者成功在 64GB M5 Pro Mac 上以主模型方式运行 95.5 GiB 的 Qwen3.8-Flash-Next：核心是专家流式加载——MoE 路由专家留在 SSD，只有 token 实际路由到时才读取（基于 mihailescu2m 的工作，需用其 llama.cpp fork，官方版不支持该 flag）。
关键优化与数据：
- Prefill：26.8GiB 逐层嵌入表在 mmap 下每次 gather 触发页错误，改为直接文件读后 512-token 提速 181→401 tok/s，8k 提速 274→451。
- Decode：启用 draft head 投机解码（小模型猜 3 token、大模型一次验证），18→27.6 tok/s；4k 提示词处理 367 tok/s，29k 上下文实际对话约 20.6 tok/s。
- 调参比想象重要：22 臂扫描显示 depth 3 + 0.3 置信度下限比硬编码 depth 4 快 10%；稀疏注意力 gather 在 62k/130k 上下文分别 +19%/+50%，Metal MoE 融合再 +5-9%。
- 量化方案：bartowski Q40 + Q80 输出层，常驻张量组拼接 unsloth UD-IQ4XS，40-chunk 困惑度 5.2777→4.3148，仅多占 1.69GiB。
- 坑：expert cache 与 Metal wired limit 必须同步，64GB 上缓存 36GiB 是天花板，38GiB 会因堆交换跌至 3.7 tok/s。
模型与 fork 均已开源，README 有完整五步安装命令。
「Infra」频道最新
- NEURA 发布 Neuron AI,欧洲具身智能的真正考验在协同落地 — ingliguori · 2026-11-04
- S3 数据库并不慢：内存+NVMe 缓存摊薄成本，写延迟差距比想象小 — mgill25 · 2026-11-04
- 开源 gpu-unlock 项目让 GeForce AI 推理提速最高 2 倍 — paranoidray · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04