NInfer-all 适配 Inkling 2 Mini,5090 上解码速度达 llama.cpp 两倍

WaveCut · reddit · 2026-11-21

作者将 Thinking Machines 的 Inkling 2 Mini(26B MoE,激活 3.4B)接入自己的多架构推理分支 NInfer-all,可直接跑 Unsloth 的 UD-IQ4XS GGUF 而无需重新量化,视觉与 DSpark draft 模型也可用。

与 llama.cpp(需用 Unsloth 构建,主线尚不支持该 GGUF)在相同 GGUF 上对比:

16GB 及以下显存的卡放不下模型,专家权重留在内存,GPU 缓存热点专家;8GB 卡也能跑(极端情况下从磁盘读专家约 9 tok/s)。提供 Windows/Linux 预编译二进制(CUDA 12/13)和 Docker 镜像,还支持 Qwen3.6/3.8、Gemma 4、DeepSeek-V4.1-Flash 等 25 张卡的实测数据。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →