Kapitsa 引擎实测：2021 款 M1 Pro 16GB 跑 Qwen3.5 4B 达 97 tok/s
DotaMate · reddit · 2026-10-22
Apple Silicon 专用开源推理引擎 Kapitsa（v0.2.7）发布针对老款 M 芯片的优化，作者在一台 2021 款 MacBook Pro 14（M1 Pro、16GB）上，将 Qwen3.5/3.6 与 Nemotron 系列模型与同机最快的其他引擎（mlx-serve、mlx-lm、llama.cpp）做了 1K–32K 上下文的系统性对比。
关键数据（512 token 编码回答解码速度，5 次中位数）：
- Qwen3.5 4B：97.2 tok/s，比 mlx-serve（62.3）快 1.56×；峰值内存仅 4.4GB
- Qwen3.5 9B：56.8 tok/s，1.52× mlx-serve
- Qwen3.6 35B-A3B 2-bit：52.2 tok/s，1.21–1.35× llama.cpp，且换页更少（36K vs 207K 页）
- Nemotron 3 Nano 4B：解码 1.31× llama.cpp，prefill 1.45–1.67×
- Nemotron Dory 4B 短上下文领先，但 8K 后被 mlx-lm 反超
技术要点： 自写 Metal kernel 按芯片和模型调优；KFlash 树状投机解码在 M1 上同样有效；prefill 领先随 prompt 变长而扩大——31.5K prompt 下 4B 首 token 仅 101 秒 vs mlx-serve 154 秒。任何 Apple Silicon Mac 可通过 brew install nace-ai/tap/kapitsa 试用，本地提供 OpenAI/Anthropic 兼容 API。
「Infra」频道最新
- Google 携手 Meta 让 TorchTitan 原生跑 TPU，Llama 3 等可直接预训练 — rseroter · 2026-10-22
- SGLang 实现 MoE 部署不重启在线加 GPU 弹性扩容 — ying11231 · 2026-10-22
- Modal CEO 谈 GPU 云经济学：算力为何不该按三年矩形合同卖 — Latent Space · 2026-10-22
- 「黄仁勋的噩梦」：华为与DeepSeek正缩小与英伟达的芯片生态差距 — pstAsiatech · 2026-10-22
- 美国宣布 3.89 亿美元投资先进芯片，覆盖核聚变与 AI 数据中心 — Polymarket · 2026-10-22
- Qdrant Facet API 实战：过滤计数与相关结果的关键权衡 — qdrant_engine · 2026-10-22