NInfer-all 适配 Inkling 2 Mini,5090 上解码速度达 llama.cpp 两倍
WaveCut · reddit · 2026-11-21
作者将 Thinking Machines 的 Inkling 2 Mini(26B MoE,激活 3.4B)接入自己的多架构推理分支 NInfer-all,可直接跑 Unsloth 的 UD-IQ4XS GGUF 而无需重新量化,视觉与 DSpark draft 模型也可用。
与 llama.cpp(需用 Unsloth 构建,主线尚不支持该 GGUF)在相同 GGUF 上对比:
- RTX 5090:prefill 6,664 vs 2,318 tok/s,decode 182 vs 97
- RTX 4090:prefill 4,537 vs 2,307,decode 140 vs 75
- RTX 3090:prefill 2,046 vs 1,236,decode 112 vs 60
- RTX 5060 8GB:prefill 1,074 vs 293,decode 33 vs 15
16GB 及以下显存的卡放不下模型,专家权重留在内存,GPU 缓存热点专家;8GB 卡也能跑(极端情况下从磁盘读专家约 9 tok/s)。提供 Windows/Linux 预编译二进制(CUDA 12/13)和 Docker 镜像,还支持 Qwen3.6/3.8、Gemma 4、DeepSeek-V4.1-Flash 等 25 张卡的实测数据。
「Infra」频道最新
- OpenRouter 被曝把用户 BYOK 私钥发送到中国,此前曾否认 — 0xkarasy · 2026-11-21
- OVH 自研 Olala Mini 7A1B:RTX 5090 单卡解码 360 tok/s、支持 96K 上下文 — JiliJeanlouis · 2026-11-21
- 观点:押注 AI 保百年繁荣,美国却缺钱又缺实体供应链 — ZeroStateReflex · 2026-11-21
- Rust 无头浏览器 Obscura 开源:70MB 无 Chromium,兼容 Puppeteer — thisguyknowsai · 2026-11-21
- Reddit 网友称 Airbnb 用阿里开源 Qwen 日处理 8 万次客服对话 — mawcopolow · 2026-11-21
- 本地跑大模型问答 PDF 教程走红:离线可用,隐私宣称仍需细看 — alifcoder · 2026-11-21