专题 · FULL STORY

Kapitsa：Mac 本地推理引擎的崛起

开发者发布完全手写的 Apple Silicon C++20 + Metal 推理引擎 Kapitsa，以树形投机解码大幅提升 Mac 本地推理速度；随后 0.2.26 版本在 M5 Max 上实测 Qwen 35B 达 346 tok/s，项目持续快速迭代。

2026-10-24 ~ 2026-11-02 · 2 集 · 4 条

第 1 集 · 开源推理引擎 kapitsa 用树形投机解码大幅提升 Mac 本地推理速度(2026-10-24,2 条)

开发者发布完全手写的 Apple Silicon C++20 + Metal 推理引擎 kapitsa，不基于 MLX 或 llama.cpp。其核心创新 kflash 将投机解码做成树形：drafter 一次猜测整棵候选树由模型统一 verify，并发请求还可共享猜测结果。实测在 Mac 上运行 Qwen3.8-27B 达到 140 tok/s，速度约为 Ollama 的两倍，多 agent 场景下吞吐提升 23%。

第 2 集 · Kapitsa 0.2.26 发布:M5 Max 实测 Qwen 35B 达 346 tok/s(2026-11-02,2 条)

面向 Apple Silicon 的开源推理引擎 Kapitsa(Apache 2.0 许可)发布 0.2.26 版本，作者 Ye 在 2026 款 MacBook Pro M5 Max(128GB)上公布了六大模型的实测跑分数据：Qwen 35B 达到 346 tok/s，180B 大模型可通过 SSD 卸载方式在 48GB 内存的 Mac 上运行，速度约为 61 tok/s，展示了 Mac 本地运行大模型的可行性。