Flint 40B 上 MacBook M4 Pro 跑出 128 tok/s，Kapitsa 引擎对比实测
DotaMate · reddit · 2026-10-22
开源推理引擎 Kapitsa（github.com/nace-ai/kapitsa） contributor Ye 发布实测：Recursive 新发布的编码模型 Flint 40B A2.5B Q4 在 MacBook Pro M4 Pro 48GB 上达到 128 tok/s 解码。Kapitsa 专为 Apple Silicon 写了定制 Metal 内核，兼容 OpenAI/Anthropic API 及 Claude/Codex/Pi/OpenCode。
对比基准（vs Recursive 自家 rec 0.1.0 和 llama.cpp b11804）：
- 短上下文解码与 rec 打平（1% 内），两者都比 llama.cpp 快 1.6 倍
- 长上下文优势扩大：128K 时解码领先 rec 1.30 倍、领先 llama.cpp 1.9 倍
- prefill 全长度领先 rec 1.1-1.2 倍；缓存第二轮首 token 仅 0.13s（rec 0.41s，快 3 倍）
- 峰值显存占用最低（23.3GB）
团队还用 8 卡 H200 训练了 KFlash 推测解码树起草器，内部已带来 1.4 倍解码加速，下周一发布。需 32GB+ Mac，模型下载 22.6GB。已知限制：Flint 总是先推理、M5+ 的 prefill 尚未优化。提供 kapitsa bench 命令征集更多设备的跑分贡献。
「Infra」频道最新
- NVIDIA 回顾 GTC 柏林开发者社区:从开源模型到物理 AI — NVIDIAAI · 2026-10-22
- GPU 回本账:SpaceX CFO 称新算力一年内回本,B300 按需价 10 个月回本 — tctjr · 2026-10-22
- 复盘 20 家 AI 算力公司披露：客户预付款到底换回了什么 — tengyanAI · 2026-10-22
- Kokon 0.10：复用 Qwen-Image 文本编码器写提示词，8GB 显存可跑 — Ok-Director4174 · 2026-10-22
- kneebench 开源：把 vLLM 压测数字翻译成下一步调优建议 — s1lv3rj1nx · 2026-10-22
- 开源工具算清 API vs 自托管盈亏平衡点:覆盖 450+ 模型与 GPU 现货价 — zackku · 2026-10-22