Mac Studio 上的本地并发推理优化
marzukia · reddit · 2026-07-18
作者继续优化自己 fork 的本地推理引擎 qMLX，目标是在 96GB Mac Studio 上尽量“用并发换掉并行”。
核心结果是：在 20 分钟、3 个并发会话的测试中，系统接收了 789,351 个 prompt token，但只在 GPU 上重新计算了 48,996 个，约 93.8% 的 token 直接从磁盘上的 KV cache 取回，作者称这相当于把 prefill 计算量大约砍到 1/16。
他做了两项关键改动：
- 实现了 Gated DeltaNet KV cache 的部分持久化存储
- 做了一个更合理的 eviction strategy
目前他已经把热缓存路径基本移除，qMLX 变成了一个更偏“从 SSD 恢复状态后串行处理请求”的推理引擎，并开始拿它给 frontier orchestrator 当本地 worker 使用。作者认为，这种“concurrency without parallelism”的方式，终于让他能在本地模型上跑 sub-agents。
「编程与Agent」频道最新
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- 用 Tailscale 让云端 Grok Bot 在自己 Mac mini 上写代码，全程不开公网端口 — talkaboutdesign · 2026-10-27
- 工程师数月实践：Agent 每次调用重发全量上下文，改一个 token 全额付费 — dscape · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- Alchemy 全部约 2850 个 AWS binding 现已跨云可用 — samgoodwin89 · 2026-10-27