128GB Mac 跑 341GB 模型:两个 macOS 修复让首 token 提速 8 倍
Chida82 · reddit · 2026-10-12
开发者 Chida82 介绍其 antirez 的 ds4 分支 sf-ds4-1flash（只保留 DeepSeek V4.1 Flash 一个模型 + Metal 后端）在 128GB M5 Max 上从 SSD 流式加载 341GB Q2 GGUF 后落地的两个 macOS 底层修复，均来自一手踩坑。
1. APFS 上 FNOCACHE 并不真等于"不缓存"
- 若读取未从 16KB 页边界开始，部分数据仍会被页缓存；expert 权重约每 3MB 一个，几乎总跨边界。实测 20 次随机 expert 读取：3731 页中 982 页被意外缓存，挤掉了解码权重导致换页。
- 修复：先把跨界首页单独读出，再从边界读余下部分。
- 效果：8K prompt 后的首 token 1.23s → 0.15s；追加 1.5K token 聊天 +12.5%
2. 别等 command buffer，改用轮询 mailbox
- CPU 每层每 token 都要拿 GPU 选出的 expert id，等 command buffer 完成信号约 48µs，让 router kernel 直接写共享缓冲、CPU 自旋轮询约 20µs 即可。附带发现：GPU 写入对 CPU 可见的时机是 command buffer 结束而非 kernel 结束。
- 效果：decode +5.5%（2K 上下文）/ +6.2%（8K）
对比上游 ds4（同 GGUF 同参数）： prefill +45%+99%；decode 约 30 tok/s（2K）/26 tok/s（32K），提升 62%78%；prefill 后首 token 0.15-0.2s（原 2-3s）。每次改动后逐 bit 校验 logits，输出与 ds4 逐 token 一致。
注意：仅在一台机器验证，长时间重负载后 decode 稳定在约 24 tok/s。仓库：github.com/Chida82/sf-ds4-1flash
「Infra」频道最新
- 推理成融资新故事:供给永增引发「永久反向拍卖」,价格持续探底 — joecole · 2026-10-12
- 「理解 AI 经济最重要的一张图」：模型商品化，算力成最确定资产 — FinanceYF5 · 2026-10-12
- 外置光源光模块带火微型 TEC,2028 年或成数亿美元市场 — jwt0625 · 2026-10-12
- 数据中心遭攻击后，Yandex 爬虫流量暴跌 99% — rooftopzen · 2026-10-12
- 单卡 RTX PRO 6000 上 Qwen3.8-27B 位精确投机解码跑到 106 t/s — stargate425 · 2026-10-12
- Strix Halo 本地推理提速:prompt 处理较 Vulkan 快 21–54% — asfbrz96 · 2026-10-12