24 个定制内核加持,MLX-Serve 成 Mac 跑 Inkling 2 Mini 最快方案
SumitGup · x · 2026-11-23
ddalcu 宣布 MLX-Serve 已支持 Inkling 2 Mini,称写了约 24 个定制内核后,MLX-Serve 可能是当前在 Mac 上运行 Inkling 2 mini 的最快方式,目前支持 8Bit 及 NVFP4、MXFP8 量化——4bit 版本尚未达到其质量标准。ivanfioravanti 表示正在为 M3 Ultra 做适配优化。
「Infra」频道最新
- Cerebras CEO:靠架构选择绕开 HBM、CoWoS、台积电 3nm 三大瓶颈 — rohanpaul_ai · 2026-11-23
- 开源引擎 Kapitsa 在 M5 Max 上跑出 960+ tok/s 预填充 — 0zyman23 · 2026-11-23
- 数据中心反让电价下降:阿拉巴马电力拟降费 1.6 亿美元 — binarybits · 2026-11-23
- 改一个数值让 M5 Max 长上下文推理快 10 倍,MLX 内核调参翻车实录 — SumitGup · 2026-11-23
- Anthropic坐拥2400亿美元现金,分析师称将砸向半导体 — firstadopter · 2026-11-23
- 微调 Inkling 2 Mini 做工单路由:54% 问题一轮即可出结果,时延降四成 — eltokh7 · 2026-11-23