Unsloth 发布 Inkling 2 Mini 本地运行指南:26.4B MoE 开源,1M 上下文
teortaxesTex · x · 2026-11-21
Thinking Machines Lab 发布了 Inkling 2 Mini:一个 26.4B 参数、激活 5.4B 的 MoE 模型,基于 Looped Transformers 变体,Apache 2.0 开源,支持 1M 上下文与视觉输入。
关键规格与跑分:
- DeepSWE v1.1 得 48.2%,SWEBench Pro v2(Hard)77.9%,为同尺寸最强,超过 Qwen3.8-27B;Terminal Bench 4.0 与 Qwen3.8-27B 打平(5.6%)
- Unsloth Desktop 做了配套更新:banded attention 正确计价以装入更长上下文,新增 Dspark 检测(解码快 2 倍)
- 推荐量化 UD-Q4KXL 约 17.6GB,4-bit 需 17-18GB 内存/显存,无损 8-bit 需 24GB;推荐参数 temperature 1.0、top-p 1.0、min-p 0
另见 teortaxesTex 的观察:循环(looping)模型与投机解码的整合值得期待——简单 token 根本不需要 loop,容易 token 可能由 specdec 处理。
所属事件:Thinking Machines 开源 Inkling 2 Mini 模型,Unsloth 推出 GGUF 本地方案(4 条相关)→
「Infra」频道最新
- SpaceX 拟射 400 亿美元 AI 芯片上太空,贷款方因抵押品无法追回而反对 — flngr · 2026-11-22
- Mac 刘海里塞进本地语音助手:4B 模型 0.43 秒开口 — KungFuSaifooo · 2026-11-22
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- 微软 Outlook 宕机报告出炉:确认与 AI 工具无关,修复需全舰队两轮重启 — aronchick · 2026-11-22
- 用户实测 Flare 推理引擎:400+ tok/s — capetorch · 2026-11-22
- 华为昇腾950DT报价达950PR三倍,良率与互联差异或是定价主因 — teortaxesTex · 2026-11-22