开源推理引擎 kapitsa：树形投机解码让 Mac 本地多 agent 吞吐提升 23%
DotaMate · reddit · 2026-10-24
- 开发者发布开源 Mac 推理引擎 kapitsa，核心是把投机解码做成树（kflash）：drafter 猜测一整棵候选树，模型一次 verify 通过，且并发请求可共享同一次 verify。
- 实测三个并发请求在 qwen3.8-27b 上总吞吐 +23%；共享 system prompt 的新请求首 token 从 1.9s 降到 0.06s（4b 模型）。
- 单流速度：M4 Pro 63 tok/s，M5 Max 140 tok/s。暴露 OpenAI/Anthropic 兼容 API，任意支持 baseurl 的框架都能接；kapitsa claude --model 27b 可直接在本地 27b 模型上跑 Claude Code。
- 安装：brew install nace-ai/tap/kapitsa，需 Apple Silicon（M1+）与 32GB 内存跑 27b，16GB 可用 9b。
所属事件:开源推理引擎 kapitsa 用树形投机解码大幅提升 Mac 本地推理速度(2 条相关)→
「编程与Agent」频道最新
- Factory 提前实测 Reflection Beam:工具纠错与仓库校验表现获认可 — togethercompute · 2026-10-24
- Payman AI 推出 MCP 服务器，可用自然语言管理付款与收款人 — modelcontextprotocol · 2026-10-24
- 评测显示 GPT-5.6/6 Luna 多智能体协作碾压 DeepSeek V4 — JoshPurtell · 2026-10-24
- Grok Bot 升级安全保险库：代填登录和卡片但模型看不到密钥 — XFreeze · 2026-10-24
- Comtrade MCP 服务器上线，让大模型直接查询联合国双边贸易数据 — modelcontextprotocol · 2026-10-24
- Brain Space Composer v0.2.2 发布：支持层编辑与五款新模型 — pwlot · 2026-10-24