Rapid-MLX 0.11.0 让 Apple Silicon 上首 token 快 25.6 倍
awnihannun · x · 2026-07-26
Rapid-MLX 0.11.0 把 Apple Silicon 上的本地模型推理和 agent 工作流往“可日常使用”推进了一步，重点是缓存、吞吐和工具编排。
- 前缀缓存复用：重复 6k token 前缀的 TTFT 从 13.1 秒降到 0.51 秒，提升 25.6 倍。项目方还举例称，有会话因此少付出 38,032 个 token 的预填充成本。
- 响应缓存：从 656ms 降到 2ms，且输出字节级一致，不需要 GPU decode。
- 吞吐：在 Qwen3.5-4B-4bit 上可到 152 tok/s，冷启动只要几秒。
- agent 化：rapid-mlx chat 可以接任意 MCP server，自动串联多个工具，并提供实时工具活动 UI。
- 模型支持：新增 HY3 295B MoE、Qwen3-Coder-Next 80B、MiniCPM5、LFM2.x、2-bit Ternary Bonsai 等家族。
「编程与Agent」频道最新
- BELL stack 开源：浏览器+Agent 框架+iMessage+支付，一套搭个人智能体 — jeff_weinstein · 2026-10-27
- 法律 AI 公司 Legora 在 Modal 上并行跑 2000 个 agent eval — blelbach · 2026-10-27
- 两名工程师用 AI 3.5 个月重建 FedEx 供应商计费核心,原估 7-8 个月 — alex_verem · 2026-10-27
- AA 实测 GPT-6.1 Terra:编码 Agent 得 48 分,成本仅前代三分之一 — ArtificialAnlys · 2026-10-27
- Shift-1 模型路由器发布：编码 Agent 成本最高降 55% — ypatil125 · 2026-10-27
- 零基础用户用 Claude Code 两周 vibe coding 出一款 Godot JRPG — ADHDavid · 2026-10-27