从零手写 Metal 4 引擎跑 Inkling-2-Mini:M5 Ultra 144 tok/s,32GB MBP 塞下 128k 上下文

DankpawsDev · reddit · 2026-11-23

开发者开源 DankAttn(MIT),一个用 Objective-C++ 和 Metal 着色语言从零写的推理引擎,为 thinkingmachines 的 Inkling-2-Mini(26.4B MoE,3 轮循环 + 原生 NVFP4/MXFP8 专家 + 内置 DSpark 投机起草器)提供 Apple Silicon 后端,并附带约 19GB 预打包权重。

核心性能:

关键设计:不重新量化——NVFP4/MXFP8 专家权重逐位保留(MMLU 86.23%,对齐 SGLang BF16-KV;GGUF 重量化会掉到 84.04% 且丢失 DSpark),密集投影压到 W8(KL=0.00042);任意温度下投机解码逐位精确(差异 0.000e+00);Zero-copy Split-KV、持久 SSD 前缀缓存恢复 1.5k-8k 前缀仅需 13-23ms。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →