开源推理引擎 Kapitsa 在 M5 Max 跑 Hy4-flash:36 t/s 解码、32K 上下文 33 秒

m4rkGS · reddit · 2026-11-21

Kapitsa(开源 Apple 芯片推理引擎)主贡献者为其新增 Hy4-flash 支持,并在 MacBook Pro M5 Max(40 核 GPU、128GB)上公布实测:

解码速度(4-bit Kapitsa vs 3.1-bit MLX):

Prefill:--profile fast 下 4K/16K/32K 均约 971 t/s(32K 首 token 仅 33 秒),MLX 只有约 300 t/s(105 秒)。

量化方案:Hy4-flash-MLX-4bit,主干 8-bit、路由专家 4-bit(group 64),磁盘 134GB;128GB 内存下专家全驻留 RAM(峰值 88GB),Engram 表内存映射由 CPU 读取——这是速度关键。48GB 的 M5 Pro 需从 SSD 流式加载专家,解码约 3.5 t/s。

支持 OpenAI/Anthropic 兼容 API、工具调用、thinking 开关;缓存会话的后续 turn 0.15-0.21 秒起步。安装:brew install nace-ai/tap/kapitsa。附图显示 Qwen3.6 35B 写入速度基准中 Kapitsa 达 161 t/s,领先 llama.cpp(69)、Ollama(89)等。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →