Inkling 2 Mini 实测指南:26.4B MoE 本地跑,4-bit 量化仅 17.6GB
NielsRogge · x · 2026-11-21
Unsloth 发布 Thinking Machines Lab 的 Inkling 2 Mini 本地运行完整指南。该模型为 26.4B MoE(激活 5.4B),Apache 2.0 开源,基于 Looped Transformers 变体,支持 1M 上下文,面向编码、agent 和视觉任务。
关键信息:
- 评测:DeepSWE v1.1 得 48.2%,SWEBench Pro v2 (Hard) 得 77.9%,为同尺寸最强,超过 Qwen3.8-27B;Terminal Bench 4.0 与 Qwen3.8-27B 持平(5.6%)
- 内存需求:1-bit 9GB → 8-bit 无损 24GB,推荐量化 UD-Q4KXL(17.6GB),全精度需 16-24GB 内存
- 支持 Mac、NVIDIA、AMD 设备,可用 Unsloth Desktop(更省内存、推理更快)或 llama.cpp(需支持 looped-layer 和 per-expert NVFP4 scales)
- 推荐采样参数:Temperature 1.0、Top-p 1.0、Top-k 0、Min-p 0.0
- 视觉投影文件 mmproj-F16.gguf 额外 639MB;示例使用 32K 上下文,内存紧张可缩短
所属事件:Unsloth 发布 Inkling-2-Mini 本地部署指南,最低 9GB 内存可跑(2 条相关)→
「编程与Agent」频道最新
- 用 Claude 驱动自家 LinkedIn MCP 找客户:触达 30 人转化 3 个付费用户 — IHAVENOSALT · 2026-11-21
- 开源 RunWeave:故意给 agent 注入限流、503 和坏工具调用,离线测其鲁棒性 — MrinmayDas · 2026-11-21
- 为医学图标库做 MCP 服务器:让 Claude 直接搜到合规手绘 SVG — blogoodf · 2026-11-21
- 用 Agent 30 分钟搞定企业报税,成本仅为人工 1% — intellectronica · 2026-11-21
- Multica 发布人机协作工作台,统一管理 Claude Code 等 agent 团队 — jiayuan_jy · 2026-11-21
- Antigravity 被扒日志:报「地区不可用」实为安全验证,谷歌 12 月 2 日放开订阅 — lxfater · 2026-11-21