开源推理引擎 kapitsa 用树形投机解码大幅提升 Mac 本地推理速度

开发者发布完全手写的 Apple Silicon C++20 + Metal 推理引擎 kapitsa，不基于 MLX 或 llama.cpp。其核心创新 kflash 将投机解码做成树形：drafter 一次猜测整棵候选树由模型统一 verify，并发请求还可共享猜测结果。实测在 Mac 上运行 Qwen3.8-27B 达到 140 tok/s，速度约为 Ollama 的两倍，多 agent 场景下吞吐提升 23%。

2026-10-24 ~ 2026-10-24 · 2 条相关