Unsloth 量化版 Inkling-2-Mini:26.4B MoE 模型跑进 16GB 内存

simonguozirui · x · 2026-11-21

Thinking Machines 发布 Apache 2.0 开源 MoE 模型 Inkling-2-Mini,采用循环 transformer 架构(部分层多次循环),总参数 26.4B、激活参数 5.4B(含循环),在 DeepSWE v1.1 上拿到 48.2%,为该参数量级最佳。

UnslothAI 已为其制作 UD3.1 量化版本,可在 16GB 内存设备上运行(Unsloth 桌面版与 llama.cpp 均已支持)。量化基准图显示:7 领域平均 top-1 准确率随 GGUF 体积从约 8GB 的 89.5%(IQ1S)递增到 16GB+ 的约 98%(Q4KXL),IQ1M 等小体积量化仍保持 90% 以上。

所属事件:Inkling 2 Mini 上架 Ollama,16GB 内存即可本地运行(5 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →