mlx-vlm 多轮延迟降至 0.25 秒
WesEklund · x · 2026-07-12
作者表示自己首次为开源本地 AI 做出重要贡献：让 mlx-vlm 的多轮 agent warm latency 从约 72 秒降到 0.25 秒，提升约 290 倍。
背景
- 原本 prefix caching 和 KV cache quantization 不能同时开启。
- 这意味着用户必须在“多轮对话更快”和“模型更省内存、能放进 Mac”之间二选一。
这次改进
- 让两者兼容后，mlx-vlm 可以同时保留长上下文复用能力和较小的显存/内存占用。
- 作者强调这对 agentic workflows 是一次很大的解锁。
结论
- 该优化面向本地 AI / 多轮推理工作流。
- 作者还提到“很快会进入一个即将发布的版本”。
所属事件:mlx-vlm缓存修复使智能体延迟降290倍(4 条相关)→
「编程与Agent」频道最新
- OpenAI 发布 GPT-6.1 Terra：主打低价格高效率的电脑操作能力 — sama · 2026-10-27
- Instinct 推出 agent 代付功能，Stripe 稳定币在底层结算 — jeff_weinstein · 2026-10-27
- 让 AI agent 交活前先打印 NASA 式技术评审表，再配上新闻纸 — teropa · 2026-10-27
- 预计数天的项目 GLM 两小时搞定,开发者直呼惊喜 — gnukeith · 2026-10-27
- 开发者 vibe coding 做出免费宝可梦大亨游戏，公开邀 AI 怀疑者来玩 — TAbrodi · 2026-10-27
- 工程师心得:修 bug 前先问这段代码是否该存在 — DanielLockyer · 2026-10-27