Unsloth 发布 Inkling-2-Small GGUF 量化版，171GB 本地跑 594B 模型
Unsloth 在 Hugging Face 上线 unsloth/Inkling-2-Small-GGUF，为 Thinking Machines Lab 的 Inkling 2 Small 提供 GGUF 量化权重并发布本地运行指南。该模型为 594B 参数的 MoE（激活参数 17B），借助 1bit 动态量化，仅需 171GB 显存即可在本地运行。
2026-11-13 ~ 2026-11-13 · 2 条相关
- 第 1 集:Thinking Machines 开源 Inkling 2 Small：594B MoE 以 Apache 2.0 上架 Hugging Face(2026-11-13,27 条)
- 第 2 集:vLLM 上线 Inkling-2-Small：594B MoE、百万上下文、单卡 1100 tok/s(2026-11-13,2 条)
- 第 3 集:Inkling 2 Small 上架 Ollama：594B MoE、1M 上下文(2026-11-13,2 条)
- 第 4 集:Thinking Machines 开源模型 Inkling Small 2 获好评(2026-11-13,2 条)
- 第 5 集:Unsloth 发布 Inkling-2-Small GGUF 量化版，171GB 本地跑 594B 模型(2026-11-13,2 条)
- Unsloth 发布 Inkling-2-Small GGUF 量化版，本地可跑 — gnukeith · 2026-11-13
- Unsloth 量化 Inkling 2 Small：1bit 动态量化 171GB 即可本地跑 594B 模型 — gnukeith · 2026-11-13