M4 Max 本地多 agent 推理瓶颈:并发设为 1 反而最快
Viktri1 · reddit · 2026-10-22
开发者在 M4 Max 上用 oMLX 跑 Qwen 3.8 Flash Next(oq4e-mtp)做多 agent 任务时遇到性能问题:单任务可跑 50–60 token/s,但并发一多速度骤降。目前最有效的 workaround 是把 Max Concurrent Requests 设为 1,在多数场景下靠 KV cache 命中减少 prefill 来保持速度。
但当多个 agent 各自大量 prefill、cache 失效时,速度跌到约 20 token/s,且截图显示 GPU 远未跑满。作者向社区求助:有哪些参数或设置调整能让并发场景吃满 GPU、恢复速度?
「编程与Agent」频道最新
- 开发者观点:频繁安全漏洞证明 agentic coding 势在必行 — deepakns · 2026-10-22
- OpenLore 开源:一个 Markdown 文件夹让 Claude Code 与 Codex 共享记忆 — Arindam_1729 · 2026-10-22
- 用 Claude Code+Blender Python 复刻机械蜘蛛教程,做出会走路的便当盒 — sidahuj · 2026-10-22
- Claude Code 通宵自主生成 2000 张 Krea2 图像并自评调参 — reynadsaltynuts · 2026-10-22
- 独立开发者用 AI 做第四款游戏,先搭起资产管理中心 — ezshine · 2026-10-22
- seatedro 发布跨平台代码审查工具 diffy,主打语义 diff 替代 GitHub — seatedro · 2026-10-22