M4 Max 本地多 agent 推理瓶颈:并发设为 1 反而最快

Viktri1 · reddit · 2026-10-22

开发者在 M4 Max 上用 oMLX 跑 Qwen 3.8 Flash Next(oq4e-mtp)做多 agent 任务时遇到性能问题:单任务可跑 50–60 token/s,但并发一多速度骤降。目前最有效的 workaround 是把 Max Concurrent Requests 设为 1,在多数场景下靠 KV cache 命中减少 prefill 来保持速度。

但当多个 agent 各自大量 prefill、cache 失效时,速度跌到约 20 token/s,且截图显示 GPU 远未跑满。作者向社区求助:有哪些参数或设置调整能让并发场景吃满 GPU、恢复速度?

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →