Mac Studio 上的本地并发推理优化
marzukia · reddit · 2026-07-18
作者继续优化自己 fork 的本地推理引擎 qMLX，目标是在 96GB Mac Studio 上尽量“用并发换掉并行”。
核心结果是：在 20 分钟、3 个并发会话的测试中，系统接收了 789,351 个 prompt token，但只在 GPU 上重新计算了 48,996 个，约 93.8% 的 token 直接从磁盘上的 KV cache 取回，作者称这相当于把 prefill 计算量大约砍到 1/16。
他做了两项关键改动：
- 实现了 Gated DeltaNet KV cache 的部分持久化存储
- 做了一个更合理的 eviction strategy
目前他已经把热缓存路径基本移除，qMLX 变成了一个更偏“从 SSD 恢复状态后串行处理请求”的推理引擎，并开始拿它给 frontier orchestrator 当本地 worker 使用。作者认为，这种“concurrency without parallelism”的方式，终于让他能在本地模型上跑 sub-agents。
「编程与Agent」频道最新
- 开源 Agent Skill 2.3k 星:生成 MVP 蓝图并审计重构 agentic harness — tom_doerr · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- GPT-6 Astra 用时 44 小时通关含敌人 Factorio,API 成本约 4500 美元 — liminal_bardo · 2026-09-11