开源引擎 Kapitsa 在 M5 Max 上跑出 960+ tok/s 预填充

0zyman23 · reddit · 2026-11-23

开发者给 Mac 推理引擎 Kapitsa 加入了 Hy4-flash 模型支持,在 M5 Max(40 核 GPU、128GB 内存)上实测 4-bit 量化版本:预填充最高 960+ tok/s(fast profile),32K 上下文下预填充约 677 tok/s、47.5 秒处理完整个 prompt,解码稳定在 35 tok/s,全面大幅超过 mlx-lm 的 3.1-bit 版本(32K 预填充仅 304 tok/s)。

关键细节:4-bit 包主网络权重用 8-bit、路由专家用 4-bit,属于高质量量化而非「循环卡顿的演示」;峰值内存 88.3GB,整个模型装进内存,无需专家流式加载,仅 Engram 留在 SSD。测试条件统一:冷启动、关闭 thinking、temperature 0.6。安装即用:brew install nace-ai/tap/kapitsa,模型包在 Hugging Face 提供,基准原始数据已开源。作者强调「如今预填充才是王道」。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →