Unsloth 量化版 Inkling-2-Mini:26.4B MoE 模型跑进 16GB 内存
simonguozirui · x · 2026-11-21
Thinking Machines 发布 Apache 2.0 开源 MoE 模型 Inkling-2-Mini,采用循环 transformer 架构(部分层多次循环),总参数 26.4B、激活参数 5.4B(含循环),在 DeepSWE v1.1 上拿到 48.2%,为该参数量级最佳。
UnslothAI 已为其制作 UD3.1 量化版本,可在 16GB 内存设备上运行(Unsloth 桌面版与 llama.cpp 均已支持)。量化基准图显示:7 领域平均 top-1 准确率随 GGUF 体积从约 8GB 的 89.5%(IQ1S)递增到 16GB+ 的约 98%(Q4KXL),IQ1M 等小体积量化仍保持 90% 以上。
所属事件:Inkling 2 Mini 上架 Ollama,16GB 内存即可本地运行(5 条相关)→
「模型」频道最新
- 递归自我改进基准与 KradleBench:AI 评测正在告别静态测试 — typewriters · 2026-11-21
- KOL 晒 Google AI Ultra 订阅页:Gemini 额度可达 Pro 五倍 — kimmonismus · 2026-11-21
- Claude「证明黎曼猜想」遭群嘲:25万页Lean代码无人审,Anthropic数学家自认 slop — GaryMarcus · 2026-11-21
- 首测 Gemini Neon 生成数据集查看器,效果胜过 Opus 5.5 — zacharynado · 2026-11-21
- 前沿模型可在上下文中解码 KV 缓存侧信道,安全研究员动摇 — davidad · 2026-11-21
- GPT-6.2 Astra 一天登顶 RoboColosseum 真实机器人 Elo 榜 — DJiafei · 2026-11-21