M3 Max 36GB 五引擎推理实测：Kapitsa 密集 41 tok/s 居首
Hyungsun · reddit · 2026-10-24
作者在 M3 Max（36GB）上对五款 Apple Silicon 推理引擎做了第二轮系统对比，新增 Kapitsa 0.2.12 和 Flint 40B-A2.5B，并按上轮反馈改用 oQ4e-mtp + Lightning MTP 检查点。
核心结果（3 次中位数，256 token 持续输出）
- 密集模型 Qwen3.8-27B-4bit：Kapitsa 41.3 tok/s 最快，oMLX 34.1、Splash 33.0、MTPLX 31.6、Rapid-MLX 26.2。
- MoE 模型 Qwen3.6-35B-A3B：oMLX 122.9 与 Kapitsa 122.7 并列领先，Rapid 110.3、Splash 97.0、MTPLX 79.9。
- Flint 40B-A2.5B：Kapitsa 达 134.2 tok/s，36GB 可跑但非日常默认。
关键发现
- oMLX 密集成绩从 17.9 翻倍到 34.1，主因是换用推测解码检查点（draft 接受率 75–85%），并非引擎本身免费提升。
- Rapid-MLX 0.16.8 单流略有回退，其重心转向 Flint 和并发。
- MTPLX 两轮成绩几乎一致，验证测试协议稳定。
- 注意各引擎权重构建不同，表格应读作「引擎+构建」而非纯引擎对比。
作者日常默认改为 Kapitsa 0.2.12 + 35B-A3B。
「Infra」频道最新
- GPU 编程 365 天打卡第 293 天:从 vLLM 转战 SGLang 与 MIT 课程 — NandoDF · 2026-10-24
- 九章 4.0 号称 25 微秒完成超算 10^42 年的算题,但任务无实用价值 — AryHHAry · 2026-10-24
- 研究实测：花哨 Agent 框架贵 3 倍但通过率几乎不变 — The Decoder · 2026-10-24
- 新量化格式 Gyro 被质疑是闭源版 EXL3：无公开数据证明更优 — nasone32 · 2026-10-24
- KServe 冷启动从 134 秒压到 9 秒，warmctl 实战优化记录 — kbesplv · 2026-10-24
- Ramjet 替换 nginx 使 domyn swarm 多 agent 会话提速最高 61% — DoggoProfessor959 · 2026-10-24