开源 Kapitsa:专为 Apple Silicon 定制的 Metal 推理引擎,Qwen 27B 跑出 63 tok/s
DotaMate · reddit · 2026-10-19
Nace.ai 团队开源（Apache 2.0）了面向 Apple Silicon 的本地推理引擎 Kapitsa，专为 Mac 上跑编码 agent 的本地模型设计，面向企业内网无外网的场景。它只支持 Qwen 与 NVIDIA Nemotron 两个模型家族，从而能针对每个架构定制 Metal kernel。
基准成绩（M4 Pro 48GB）：Qwen3.8 27B 达 63 tok/s（Ollama 为 32）；Qwen3.6 35B-A3B 达 154 tok/s。M5 Max 128GB 上 35B-A3B 达 272 tok/s；Nemotron Bolt 74B-A9B 达 127 tok/s（多数引擎无法运行）。唯一没跑赢的是 Flash-Next 180B-A7B，mlx-serve 领先 2-3%。
速度来源：
- 按架构定制 Metal kernel（Qwen3.5 的 Gated DeltaNet+attention、Nemotron-H 的 Mamba-2+LatentMoE）及按权重格式（MLX affine、NVFP4、2-bit experts）
- 投机解码：Qwen 27B/35B 用 DFlash2、4B 用 z-lab 的 DFlash、Lightning 用 DSpark、Bolt/Super-VL 用 NVIDIA 的 LiLiCorr
- 适配混合架构的缓存：循环层会破坏普通 KV prefix cache，引擎在轮次边界保存 KV+循环状态 checkpoint，并在你阅读回复时预读入缓存
安装：brew install nace-ai/tap/kapitsa，可用 kapitsa bench 自行跑分，团队征集贡献者。
「编程与Agent」频道最新
- 用 AI 重写 Inkscape 的 OpenGL 后端,Mac 上再提速 2 倍 — thomasahle · 2026-10-19
- Google Antigravity 上线 Gemini 4 Argon,提供低中高三档思考等级 — _philschmid · 2026-10-19
- Burkov 指出坐标输出是 GUI 智能体的隐性瓶颈 — burkov · 2026-10-19
- pi-durable v1.3.0：SQLite 表前缀与 DO 共库协调，修内存峰值 — solyarisoftware · 2026-10-19
- 语音 AI 别用转圈等待：说话式工具调用的工程实践 — solyarisoftware · 2026-10-19
- OpenRouter 曝光 24/7 自我改进安全 agent Sentinel，误判率仅 0.05% — Dan_Jeffries1 · 2026-10-19