mlx-vlm 多轮延迟降至 0.25 秒
WesEklund · x · 2026-07-12
作者表示自己首次为开源本地 AI 做出重要贡献：让 mlx-vlm 的多轮 agent warm latency 从约 72 秒降到 0.25 秒，提升约 290 倍。
背景
- 原本 prefix caching 和 KV cache quantization 不能同时开启。
- 这意味着用户必须在“多轮对话更快”和“模型更省内存、能放进 Mac”之间二选一。
这次改进
- 让两者兼容后，mlx-vlm 可以同时保留长上下文复用能力和较小的显存/内存占用。
- 作者强调这对 agentic workflows 是一次很大的解锁。
结论
- 该优化面向本地 AI / 多轮推理工作流。
- 作者还提到“很快会进入一个即将发布的版本”。
所属事件:mlx-vlm缓存修复使智能体延迟降290倍(4 条相关)→
「编程与Agent」频道最新
- 像素特效难题被攻克，团队开源背后的 Claude Skill — Promptmethus · 2026-10-27
- 警惕假 GitHub AI 项目:假提交+隐藏下载引流的骗局手法拆解 — Justify_87 · 2026-10-27
- 网友搭建 Agent Town,让 AI 智能体互相社交 — johnnypen2445 · 2026-10-27
- FrontMCP 实现 MCP 服务器热重载:0.5 秒重启,Claude Code 不掉线 — DavidAntoon · 2026-10-27
- 让个人 Agent 先解释调用动机：把后台黑盒操作可视化 — _AustinCalvert_ · 2026-10-27
- 一条提示词替代六位数分析师：每周自动监控竞对五类动态 — alex_verem · 2026-10-27