Kapitsa 0.2 发布 KFlash 树搜索投机解码,M4 Pro 上跑赢 Splash 达 63 tok/s
DotaMate · reddit · 2026-10-21
开源项目 Kapitsa(专为 Apple Silicon 优化的 Qwen/Nemotron 推理引擎)发布 0.2 版,引入新的投机解码方法 KFlash,并在真实消费级 Mac 上与 Inco 的 Splash 1.4.0、Ollama、llama.cpp、LM Studio 等 9 个引擎做了横向对比。
KFlash 的原理:常见快速引擎用小 draft 模型猜约 7 个 token、大模型一次验证;DFlash2 只验证一条猜测链、遇到第一个错误即停。KFlash 则在同一遍验证中用 best-first 树搜索检查 draft 模型的候选分支,draft 犹豫时候选也能被利用。
实测数据(512 token 编码回答的 decode 速度,4-bit 权重,各引擎最快配置):
- MacBook Pro M4 Pro 48GB:Kapitsa 0.2 全面领先——Qwen3.8 27B 达 63 tok/s(第二名 Splash 53),Qwen3.6 35B-A3B 达 161 tok/s,Qwen3.5 4B 达 201 tok/s,约为 llama.cpp 的 3 倍
- MacBook Pro M1 Pro 16GB:Qwen3.5 4B 达 95 tok/s,而 Splash 需要 M3 以上芯片且跑不了小模型
Kapitsa 支持 M1M6 全系芯片,提供 OpenAI/Anthropic 兼容 API 和 CLI,可直接配合 OpenCode/Claude 等编码工具使用;kapitsa bench 可在自己机器上复测并提交社区基准结果。
「编程与Agent」频道最新
- Nace.AI 发布 27B 本地多模态决策模型 Drex Max 2.0 — DotaMate · 2026-10-21
- 马斯克转发：Grok Bot 10分钟清掉204张客服工单 — elonmusk · 2026-10-21
- pstack 新增元技能：让 Agent 画状态图再用 TLA+ 形式化验证找 bug — DavidKPiano · 2026-10-21
- 论文：决策模型控制器让 agent 成本升 19%，成功率却零提升 — Naman Vats · 2026-10-21
- 腾讯混元 RiseHarness：不改模型权重，让终端 agent 自进化 — Tencent-Hunyuan · 2026-10-21
- 论文：agent 记忆越多反而越差，Anti-Persistence 用后即弃更省钱 — IUB · 2026-10-21