Rapid-MLX 0.11.0 让 Apple Silicon 上首 token 快 25.6 倍
awnihannun · x · 2026-07-26
Rapid-MLX 0.11.0 把 Apple Silicon 上的本地模型推理和 agent 工作流往“可日常使用”推进了一步，重点是缓存、吞吐和工具编排。
- 前缀缓存复用：重复 6k token 前缀的 TTFT 从 13.1 秒降到 0.51 秒，提升 25.6 倍。项目方还举例称，有会话因此少付出 38,032 个 token 的预填充成本。
- 响应缓存：从 656ms 降到 2ms，且输出字节级一致，不需要 GPU decode。
- 吞吐：在 Qwen3.5-4B-4bit 上可到 152 tok/s，冷启动只要几秒。
- agent 化：rapid-mlx chat 可以接任意 MCP server，自动串联多个工具，并提供实时工具活动 UI。
- 模型支持：新增 HY3 295B MoE、Qwen3-Coder-Next 80B、MiniCPM5、LFM2.x、2-bit Ternary Bonsai 等家族。
「编程与Agent」频道最新
- 让 Hermes Agent 当 QA：浏览器实测揪出 8 个网站问题 — techlatest_net · 2026-10-27
- 开源 FableCut 用远程 MCP 让 AI Agent 直接剪辑浏览器时间线 — FastPresence9799 · 2026-10-27
- 网友给 Hermes Agent 配专属 Ubuntu 虚拟机实测真实任务表现 — techlatest_net · 2026-10-27
- 开发者晒弃用清单：VS Code、Office 全卸载，只用 Claude — One_Improvement_6470 · 2026-10-27
- Grok bot 首次自主网购：识破页面隐藏提示，1 美元开通 Spotify 后秒取消 — msg · 2026-10-27
- Swarmatory 开源：为团队编码 Agent 提供共享聊天室与信息流 — qhoxie · 2026-10-27