开源推理引擎 Kapitsa 跑分 M5 Max:35B 达 346 tok/s,180B 上 48GB Mac 跑 61 tok/s
DotaMate · reddit · 2026-11-02
开源 Apple Silicon 推理引擎 Kapitsa（Apache 2.0）发布 0.2.26，作者 Ye 在 M5 Max（128GB）上公布六大模型实测数据。
核心成绩（512 token 解码 / 4K prefill，取 3 次中位数）：
- Qwen3.6 35B-A3B：346 tok/s 解码，6036 tok/s prefill
- Clover 35B-A3B：304 tok/s；Flint 40B：265 tok/s
- Nemotron Bolt 74B：154 tok/s；Qwen3.8 27B：143 tok/s
- Qwen Flash-Next 180B：108 tok/s，32K 上下文仅从 90 降到 78 tok/s
亮点：
- SSD offloading：装不进内存的专家从 SSD 流式读取，Flash-Next 180B 能在 48GB MacBook 上跑到 61 tok/s
- 对比同机最快竞品：35B 快 Splash 1.23 倍，Bolt 快 oMLX 2.2 倍；Clover 仅 Kapitsa 可跑
- 提速关键 KFlash：投机采样不按链校验而是校验一棵猜测树，在 Apple GPU 的 8 行 tile 上几乎零成本，且不改变输出
- 一条 brew 命令即可安装，本地提供 OpenAI/Anthropic 兼容 API，社区可提交跑分结果（以 PR 形式，仅发送约 2KB 匿名数据）
「Infra」频道最新
- TPU 成本优势显现：Gemini 3.1 Pro 单任务成本比 Claude 低 76% — Beth_Kindig · 2026-11-02
- 算力现货价将达合约 3-5 倍,低价新云商或成最大输家 — bindureddy · 2026-11-02
- 传马斯克将与台积电重新谈判 TeraFab,放弃完全自建立场 — SumitGup · 2026-11-02
- Crusoe CEO 回应 neocloud 债务担忧：算力需求如潮水般汹涌 — nathanbenaich · 2026-11-02
- 德州在建超级工程超5000亿美元，Stargate AI枢纽占千亿 — MatthewChang · 2026-11-02
- SemiAnalysis：若禁令蔓延，2028 年美国 30.3GW 数据中心容量面临暂停风险 — Eliv_nurotic · 2026-11-02