Inkling-2-Mini 本地部署门槛低至 9GB 内存,各级量化需求一览

NielsRogge · x · 2026-11-21

NielsRogge 转发 UnslothAI 的本地运行指南:Thinking Machines Lab 的 Inkling-2-Mini 在笔记本上最低 9GB 内存即可运行。

各级量化所需内存:

位数越高性能越好,但内存占用更大、推理可能变慢。作者本人用 3-bit 版本在 MacBook 上运行。

所属事件:Unsloth 发布 Inkling-2-Mini 本地部署指南,最低 9GB 内存可跑(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →