Thinking Machines 发布 Inkling 2 Small，4 卡可跑且将开源权重
Thinking Machines 发布了新模型 Inkling 2 Small，官方称其为 open weight 模型，已在 Tinker 上支持微调与推理，完整权重即将开源。模型在 AA Intelligence Index 上得分 31，较前代大幅提升；第三方团队 Specific 在 Real-SWE 1.1 基准上实测，解决率从上一代 Inkling 1 Small 的 8% 跃升至 32%，提升 4 倍。
已确认
- 官方发布：AA Intelligence Index 得分 31，可在 Tinker 上微调与推理，完整权重即将开源发布
- 架构参数：594B 参数，MoE 架构，含 8 个共享 router 专家与 48 个 router 专家，仅 48 层（对比 Hy4 的 78 层）
- Attention Residuals 覆盖 8 个 block；Sebastian Raschka 手绘架构图并评价这是比他预想更有意思的模型
- 部署成本：经 EXL3 3.48bpw 量化后可装进 4×RTX Pro 6000（96GB Blackwell）或 3×DGX Spark，KV 缓存可达 750 万 token（另一转发帖称 4 卡跑 38 万并发 KV cache）
- 第三方评测：Specific 在 Real-SWE 1.1 上测得解决率 32%（前代 8%）
为什么重要
该模型以相对低廉的硬件门槛（4 张消费级/专业卡）提供了旗舰级能力，加上即将开源的权重和激进的架构创新（Attention Residuals、更少层数），对本地推理与微调生态有较高吸引力。liuliu 指出模型虽已开放下载但讨论度不高，第三方实测数据可能改变这一局面。
2026-11-14 ~ 2026-11-16 · 5 条相关
- 第 1 集:Thinking Machines 以 Apache 2.0 开源 Inkling 2 Small 权重(2026-11-13,31 条)
- 第 2 集:vLLM 上线 Inkling-2-Small：594B MoE、百万上下文、单卡 1100 tok/s(2026-11-13,2 条)
- 第 3 集:Thinking Machines 开源 Inkling 2 Small 登顶美国开源榜(2026-11-13,3 条)
- 第 4 集:Eval³ 榜新增 Inkling 2 Small，称优于美国开源模型(2026-11-13,2 条)
- 第 5 集:Inkling 2 Small 上架 Ollama：594B MoE、1M 上下文(2026-11-13,2 条)
- 第 6 集:Thinking Machines 开源模型 Inkling Small 2 获好评(2026-11-13,2 条)
- 第 7 集:Unsloth 发布 Inkling-2-Small GGUF 量化版，171GB 本地跑 594B 模型(2026-11-13,2 条)
- 第 8 集:Thinking Machines 揭秘 Inkling 2 Small 端到端 4-bit 训练(2026-11-14,10 条)
- 第 9 集:Inkling 2 Small 原生 4-bit 训练收益遭质疑(2026-11-14,2 条)
- 第 10 集:Thinking Machines 发布 Inkling 2 Small，4 卡可跑且将开源权重(2026-11-14,5 条)
一手来源
- 【源头】Thinking Machines Inkling 2 Small 实测：Real-SWE 解决率 8%→32% 暴涨 4 倍 — keirp1 · 2026-11-14
- Inkling Small 2 可跑进 4 张 Blackwell,750 万 token KV 缓存 — LiTianleli · 2026-11-14
- 新模型 Inkling 2 Small 架构拆解：48 层加 Attention Residuals — PMinervini · 2026-11-14
- 【源头】rasbt 绘制 Inkling 2 Small 架构图：594B 参数用注意力残差 — rasbt · 2026-11-14
- Thinking Machines 发布 Inkling 2 Small:4 卡跑 38 万并发 KV cache — LiTianleli · 2026-11-16