mlx-vlm 热启动延迟降290倍
WesEklund · x · 2026-07-11
作者表示自己给开源本地 AI 项目做了第一次重要贡献：把 mlx-vlm 的多轮 agent warm latency 从约 72 秒降到 0.25 秒，提升大约 290 倍。
他提到这个项目原本就有两个关键优化手段：
- Prefix caching / APC：复用长上下文中的重复计算
- KV cache quantization：压缩运行时缓存，让更大的模型能在 Mac 上跑下去
这次优化的核心是把这些机制更好地结合起来，显著改善多轮交互时的首轮/热启动体验。
所属事件:mlx-vlm缓存修复使智能体延迟降290倍(4 条相关)→
「编程与Agent」频道最新
- AustinLangChain 分享 RAG 变体：预计算黄金答案运行时精确匹配 — colinmcnamara · 2026-10-27
- 开发者观点：与 agent 交互式协作仍有未被挖掘的价值 — alex_frantic · 2026-10-27
- 研究者发起 AMA:揭秘「平民开发者」用 AI Agent 自动化企业工作 — Loose_Rip359 · 2026-10-27
- Gradio 推 ML Intern 人工介入：训练前可暂停审核数据 — Gradio · 2026-10-27
- 玩家用本地 LLM + Blender MCP 自动搭建 Halo 无限 Forge 地图 — swagonflyyyy · 2026-10-27
- Unity 前开发者:OpenClaw 清理得不错,值得再试一次 — lucasmeijer · 2026-10-27