开源推理引擎 kapitsa：Mac 上跑 Qwen3.8-27B 达 140 tok/s，超 Ollama 一倍
DotaMate · reddit · 2026-10-24
作者发布开源项目 kapitsa：一个完全手写的 Apple Silicon C++20 + Metal 推理引擎（不基于 MLX 或 llama.cpp），kapitsa serve 可在本地同时提供 OpenAI 和 Anthropic 兼容 API。
- 性能：树形投机解码核心 kflash 不再单链验证（避免首错即废），而是一次 8 行 pass 中对候选树做 best-first 验证，输出与普通解码完全一致。Qwen3.8-27B 4bit 单流速度：M5 Max 140 tok/s、M5 Pro 81、M4 Pro 63，明显高于 Ollama/MLX/llama.cpp 等主流 Mac 引擎（同机对比数据齐全）。
- 工程细节：并发请求共享验证 pass，3 路并发总吞吐 +23%；支持内存与 SSD 前缀缓存（--disk-cache，重启后保留）；每次默认参数改动都要通过与旧版本的 logit 一致性检查，防止提速悄悄改变答案。
- 上手：brew install nace-ai/tap/kapitsa，32GB 内存跑 27B（约 20GB 下载），16GB 用 --model 9b；OpenAI 客户端 base url 为 http://127.0.0.1:8000/v1，Anthropic 客户端用 http://127.0.0.1:8000，还可用 kapitsa claude 直接在本地权重上打开 Claude。
所属事件:开源推理引擎 kapitsa 用树形投机解码大幅提升 Mac 本地推理速度(2 条相关)→
「Infra」频道最新
- 英伟达 8 节点 DGX Spark 集群转正：900M 训练扩展效率达 97.4% — TheZachMueller · 2026-10-24
- Linus 爆料：一台 Vera Rubin 机架至少要烧约 700 万美元 — LinusEkenstam · 2026-10-24
- 单卡 RTX 6000 跑 DSF4.1 达 280 tok/s,社区追问如何冲上 500 — capetorch · 2026-10-24
- 多伦多 PS5 Pro 全面断货，内存涨价潮波及消费硬件 — Rasmic · 2026-10-24
- 开源推理引擎 kapitsa：树形投机解码让 Mac 本地多 agent 吞吐提升 23% — DotaMate · 2026-10-24
- Zagitta 解锁补丁实测:中国版 3080 20GB prefill 快 20%,decode 持平 — No-Refrigerator-1672 · 2026-10-24