从零手写 Metal 4 引擎跑 Inkling-2-Mini:M5 Ultra 144 tok/s,32GB MBP 塞下 128k 上下文
DankpawsDev · reddit · 2026-11-23
开发者开源 DankAttn(MIT),一个用 Objective-C++ 和 Metal 着色语言从零写的推理引擎,为 thinkingmachines 的 Inkling-2-Mini(26.4B MoE,3 轮循环 + 原生 NVFP4/MXFP8 专家 + 内置 DSpark 投机起草器)提供 Apple Silicon 后端,并附带约 19GB 预打包权重。
核心性能:
- M5 Ultra(96GB):DSpark 单流代码生成 144.5 tok/s(mlx-serve 121.2、llama.cpp 39.5),8k 冷 prefill 3804 tok/s,4 并发流共 259 tok/s;无起草的普通 decode 仍落后 mlx-serve(90.6 vs 117.1)。
- 基础款 M5 MacBook Pro(32GB):43.6 tok/s,128k 上下文仅占 23.3GB 内存,还留 8.7GB 给 macOS。
关键设计:不重新量化——NVFP4/MXFP8 专家权重逐位保留(MMLU 86.23%,对齐 SGLang BF16-KV;GGUF 重量化会掉到 84.04% 且丢失 DSpark),密集投影压到 W8(KL=0.00042);任意温度下投机解码逐位精确(差异 0.000e+00);Zero-copy Split-KV、持久 SSD 前缀缓存恢复 1.5k-8k 前缀仅需 13-23ms。
「Infra」频道最新
- 24 个定制内核加持,MLX-Serve 成 Mac 跑 Inkling 2 Mini 最快方案 — SumitGup · 2026-11-23
- 改一个数值让 M5 Max 长上下文推理快 10 倍,MLX 内核调参翻车实录 — SumitGup · 2026-11-23
- Anthropic坐拥2400亿美元现金,分析师称将砸向半导体 — firstadopter · 2026-11-23
- 微调 Inkling 2 Mini 做工单路由:54% 问题一轮即可出结果,时延降四成 — eltokh7 · 2026-11-23
- Apple Silicon 本地推理引擎 Splash 1.7.1:ANE prefill 快 23%,共享系统提示新会话提速近 3 倍 — oss-jiiim · 2026-11-23
- LFM3-Omni-2B 跑进 iPhone 17 Pro Max:本地 agent 联网搜索并用模型自带能力生成语音 — fuzhongkai · 2026-11-23