mlx-vlm 多轮延迟降到0.25秒
WesEklund · x · 2026-07-11
作者表示自己为开源本地 AI 项目做了贡献，把 mlx-vlm 的多轮 agent warm latency 从约 72 秒 降到约 0.25 秒，提升约 290 倍。
他解释了原本已有两项优化：
- Prefix caching / APC：复用长上下文中的重复计算
- KV cache quantization：降低显存占用，让更大的模型能在 Mac 上跑
但这两者此前互相冲突：开启 KV 量化后，prefix caching 基本失效。现在这一限制被打通了，因此可以同时兼顾 多轮速度 和 内存占用。作者还表示新版本“很快会发布”。
所属事件:mlx-vlm缓存修复使智能体延迟降290倍(4 条相关)→
「编程与Agent」频道最新
- 开发者开源一套更好看的 Agent 运行瀑布图追踪 UI — round · 2026-10-27
- 马斯克盛赞 Grok Bot:像雇了个超能干的幕僚长 — elonmusk · 2026-10-27
- shadcn 演示用 /improve skill 搭配 Grok 批量处理 issue — shadcn · 2026-10-27
- Paradigm 推出 Envoys：Claude Code 与 Codex 接入研究图谱，用自己订阅即可免费 — tensorqt · 2026-10-27
- AXL 上线远程 MCP 服务器，向 Claude 等开放 1284 个营销 API — EdTech_Padre · 2026-10-27
- GitHub 托马斯发布 Entire：面向人机协作的全新 Git 代码托管平台 — carrycooldude · 2026-10-27