Mac Studio 上的本地并发推理优化
marzukia · reddit · 2026-07-18
作者继续优化自己 fork 的本地推理引擎 qMLX，目标是在 **96GB Mac Studio** 上尽量“用并发换掉并行”。 核心结果是：在 20 分钟、3 个并发会话的测试中，系统接收了 **789,351** 个 prompt token，但只在 GPU 上重新计算了 **48,996** 个，约 **93.8%** 的 token 直接从磁盘上的 KV cache 取回，作者称这相当于把 prefill 计算量大约砍到 **1/16**。 他做了两项关键改动： - 实现了 **Gated DeltaNet KV cache** 的部分持久化存储 - 做了一个更合理的 **eviction strategy** 目前他已经把热缓存路径基本移除，qMLX 变成了一个更偏“从 SSD 恢复状态后串行处理请求”的推理引擎，并开始拿它给 frontier orchestrator 当本地 worker 使用。作者认为，这种“**concurrency without parallelism**”的方式，终于让他能在本地模型上跑 sub-agents。