Inkling-2-Mini 本地部署门槛低至 9GB 内存,各级量化需求一览
NielsRogge · x · 2026-11-21
NielsRogge 转发 UnslothAI 的本地运行指南:Thinking Machines Lab 的 Inkling-2-Mini 在笔记本上最低 9GB 内存即可运行。
各级量化所需内存:
- 1-bit:9 GB
- 2-bit:10-11 GB
- 3-bit:13-15 GB
- 4-bit:17-18 GB
- 8-bit(无损):24 GB
位数越高性能越好,但内存占用更大、推理可能变慢。作者本人用 3-bit 版本在 MacBook 上运行。
所属事件:Unsloth 发布 Inkling-2-Mini 本地部署指南,最低 9GB 内存可跑(2 条相关)→
「Infra」频道最新
- Inkling 2 Mini 编码胜 Qwen 3.8 27B,但 PC 端不值得吹 — Ubunta · 2026-11-21
- Inkling 2 Mini 本地实测:代码质量小胜 Qwen 3.8 27B,但部署麻烦 — Ubunta · 2026-11-21
- 观点:只有基建硬资源卷到死透,应用层的春天才会到来 — yangyi · 2026-11-21
- 26 个 LLM 路由器暗藏恶意工具调用,一客户端被卷走 50 万美元 — 0xkarasy · 2026-11-21
- OpenRouter 被曝把用户 BYOK 私钥发送到中国,此前曾否认 — 0xkarasy · 2026-11-21
- OVH 自研 Olala Mini 7A1B:RTX 5090 单卡解码 360 tok/s、支持 96K 上下文 — JiliJeanlouis · 2026-11-21