Unsloth 发布 Inkling-2-Mini 本地部署指南,最低 9GB 内存可跑
Thinking Machines Lab 开源的 Inkling-2-Mini 为 26.4B 参数的 MoE 模型,每次激活 5.4B,采用 Apache 许可。UnslothAI 发布了本地运行的完整指南,NielsRogge 转发推广。该模型部署门槛很低,在笔记本上最低仅需 9GB 内存即可运行,并提供多级量化方案,4-bit 量化版本约 17.6GB,方便不同硬件条件的用户在本地体验。
2026-11-21 ~ 2026-11-21 · 2 条相关
- Inkling-2-Mini 本地部署门槛低至 9GB 内存,各级量化需求一览 — NielsRogge · 2026-11-21
- Inkling 2 Mini 实测指南:26.4B MoE 本地跑,4-bit 量化仅 17.6GB — NielsRogge · 2026-11-21