Kapitsa 推理引擎跑分:M5 Max 上 Qwen 35B 达 346 tok/s,180B 用 SSD 卸载
DotaMate · reddit · 2026-11-02
面向 Apple Silicon 的开源推理引擎 Kapitsa 发布 0.2.26 版，作者 Ye 公布了在 2026 款 MacBook Pro M5 Max（128GB）上的六模型跑分。
核心成绩（decode / 4K prefill）：
- Qwen3.6 35B-A3B：346 tok/s，6,036 tok/s
- Clover 35B-A3B（块扩散 MoE）：304 tok/s
- Recursive Flint 40B：265 tok/s
- Nemotron Bolt 74B：154 tok/s
- Qwen3.8 27B：143 tok/s
- Qwen Flash-Next 180B：108 tok/s，且支持 SSD 卸载——48GB MacBook 上以 61 tok/s 运行 180B 专家流式读取
对比其他引擎：较 Splash 在 35B 上快 1.23x，较 oMLX 在 Bolt 上快 2.2x，Clover 则是唯一能在 Mac 上运行的引擎。32K 长上下文下 35B 仍保持 175 tok/s。
提速原理 KFlash：其他引擎把 drafter 的猜测当一条链验证、首个错误即停；KFlash 一次并行验证一棵猜测树，在 Apple GPU 的 8-row tile 架构上几乎零成本，且不改变输出。自带的 Metal kernel 针对每颗芯片和模型调优。kapitsa serve 提供 OpenAI/Anthropic 兼容 API（流式、工具调用、JSON schema），缓存会话续轮仅 0.04–0.13s。社区可通过 kapitsa bench --submit 以 GitHub PR 提交跑分。
所属事件:Kapitsa 0.2.26 发布:M5 Max 实测 Qwen 35B 达 346 tok/s(2 条相关)→
「Infra」频道最新
- 为建数据中心年毁 25 万棵树，「无纸化环保」遭反讽 — im_mansigupta · 2026-11-02
- 创业者断言：协作型 agent 的服务成本问题亟待解决 — hyhieu226 · 2026-11-02
- SmolChat 更新:Android 本地跑 GGUF 模型并内置 OpenAI 兼容服务器 — shubham0204_dev · 2026-11-02
- 两张 3090 并跑 8 个 Agent,各持 25 万 token 上下文,合计 545 tok/s — o2beast · 2026-11-02
- Liquid AI 展示 LFM3 Omni 2B 直接跑在浏览器 WebGPU 里 — rm-rf-rm · 2026-11-02
- Google 太空 TPU 跑通 Gemma 首个 AI 回复,太阳能数据中心迈出第一步 — shashib · 2026-11-02