开源引擎 Kapitsa 在 M5 Max 上跑出 960+ tok/s 预填充
0zyman23 · reddit · 2026-11-23
开发者给 Mac 推理引擎 Kapitsa 加入了 Hy4-flash 模型支持,在 M5 Max(40 核 GPU、128GB 内存)上实测 4-bit 量化版本:预填充最高 960+ tok/s(fast profile),32K 上下文下预填充约 677 tok/s、47.5 秒处理完整个 prompt,解码稳定在 35 tok/s,全面大幅超过 mlx-lm 的 3.1-bit 版本(32K 预填充仅 304 tok/s)。
关键细节:4-bit 包主网络权重用 8-bit、路由专家用 4-bit,属于高质量量化而非「循环卡顿的演示」;峰值内存 88.3GB,整个模型装进内存,无需专家流式加载,仅 Engram 留在 SSD。测试条件统一:冷启动、关闭 thinking、temperature 0.6。安装即用:brew install nace-ai/tap/kapitsa,模型包在 Hugging Face 提供,基准原始数据已开源。作者强调「如今预填充才是王道」。
「Infra」频道最新
- Cerebras CEO:靠架构选择绕开 HBM、CoWoS、台积电 3nm 三大瓶颈 — rohanpaul_ai · 2026-11-23
- 数据中心反让电价下降:阿拉巴马电力拟降费 1.6 亿美元 — binarybits · 2026-11-23
- 24 个定制内核加持,MLX-Serve 成 Mac 跑 Inkling 2 Mini 最快方案 — SumitGup · 2026-11-23
- 改一个数值让 M5 Max 长上下文推理快 10 倍,MLX 内核调参翻车实录 — SumitGup · 2026-11-23
- Anthropic坐拥2400亿美元现金,分析师称将砸向半导体 — firstadopter · 2026-11-23
- 微调 Inkling 2 Mini 做工单路由:54% 问题一轮即可出结果,时延降四成 — eltokh7 · 2026-11-23