开源推理引擎 Kapitsa 在 M5 Max 跑 Hy4-flash:36 t/s 解码、32K 上下文 33 秒
m4rkGS · reddit · 2026-11-21
Kapitsa(开源 Apple 芯片推理引擎)主贡献者为其新增 Hy4-flash 支持,并在 MacBook Pro M5 Max(40 核 GPU、128GB)上公布实测:
解码速度(4-bit Kapitsa vs 3.1-bit MLX):
- 短上下文:36.4 vs 20.8 t/s;16K:35.1 vs 7.0 t/s;32K:34.6 vs 4.4 t/s——长上下文下差距拉大到近 8 倍。
Prefill:--profile fast 下 4K/16K/32K 均约 971 t/s(32K 首 token 仅 33 秒),MLX 只有约 300 t/s(105 秒)。
量化方案:Hy4-flash-MLX-4bit,主干 8-bit、路由专家 4-bit(group 64),磁盘 134GB;128GB 内存下专家全驻留 RAM(峰值 88GB),Engram 表内存映射由 CPU 读取——这是速度关键。48GB 的 M5 Pro 需从 SSD 流式加载专家,解码约 3.5 t/s。
支持 OpenAI/Anthropic 兼容 API、工具调用、thinking 开关;缓存会话的后续 turn 0.15-0.21 秒起步。安装:brew install nace-ai/tap/kapitsa。附图显示 Qwen3.6 35B 写入速度基准中 Kapitsa 达 161 t/s,领先 llama.cpp(69)、Ollama(89)等。
「Infra」频道最新
- 传谷歌砍掉百万颗博通 AI 芯片订单,博通股价暴跌 9% — PAstynome · 2026-11-21
- 美商务部被曝批准向中企出售逾80万块先进AI芯片 — ylecun · 2026-11-21
- Codex 将 WebSocket 请求上限从 16MB 提至 128MB,大幅减少回退 HTTP — charliermarsh · 2026-11-21
- Neon 扩缓存池:Antigravity 缓存命中率升约 4%,配额可用量提升至少 20% — cgarciae88 · 2026-11-21
- Epoch AI:贸易数据指向超 30 亿美元芯片经马来西亚走私入华 — Jsevillamol · 2026-11-21
- 花旗 2017 年「半导体投资 15 条公理」在 AI 行情中再度疯传 — asymco · 2026-11-21