mlx-vlm 多轮延迟降至 0.25 秒
WesEklund · x · 2026-07-12
作者表示自己首次为开源本地 AI 做出重要贡献：让 mlx-vlm 的多轮 agent warm latency 从约 72 秒降到 0.25 秒，提升约 290 倍。
背景
- 原本 prefix caching 和 KV cache quantization 不能同时开启。
- 这意味着用户必须在“多轮对话更快”和“模型更省内存、能放进 Mac”之间二选一。
这次改进
- 让两者兼容后，mlx-vlm 可以同时保留长上下文复用能力和较小的显存/内存占用。
- 作者强调这对 agentic workflows 是一次很大的解锁。
结论
- 该优化面向本地 AI / 多轮推理工作流。
- 作者还提到“很快会进入一个即将发布的版本”。
所属事件:mlx-vlm缓存修复使智能体延迟降290倍(4 条相关)→
「编程与Agent」频道最新
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11