mlx-vlm 热启动延迟降290倍
WesEklund · x · 2026-07-11
作者表示自己给开源本地 AI 项目做了第一次重要贡献：把 mlx-vlm 的多轮 agent warm latency 从约 72 秒降到 0.25 秒，提升大约 290 倍。
他提到这个项目原本就有两个关键优化手段：
- Prefix caching / APC：复用长上下文中的重复计算
- KV cache quantization：压缩运行时缓存，让更大的模型能在 Mac 上跑下去
这次优化的核心是把这些机制更好地结合起来，显著改善多轮交互时的首轮/热启动体验。
所属事件:mlx-vlm缓存修复使智能体延迟降290倍(4 条相关)→
「编程与Agent」频道最新
- 拆解两款真实「公司大脑」：Slite 与 Gorgias 同台对比构建之道 — femke_plantinga · 2026-09-11
- 浏览器主线程很贵:动画卡顿的真正成本与前端优化实践 — jh3yy · 2026-09-11
- 开源工具 Claude Unlimited：多账号轮换让 Claude Code 会话不断线 — Similar_Injury_6739 · 2026-09-11
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11