专题 · FULL STORY

Inkling 2 Small 开源：从放权到一键部署

Thinking Machines 创始人 Miriam Murati 宣布如约开源 Inkling 2 Small 权重并上架 Hugging Face，随后 vLLM 官方跟进发布部署配方：594B 参数多模态 MoE、百万上下文，单卡即可运行，一行命令启动。

2026-11-13 ~ 2026-11-13 · 2 集 · 15 条

第 1 集 · Thinking Machines 开源 Inkling 2 Small 权重(2026-11-13,13 条)

Thinking Machines 创始人 Miriam Murati 宣布如约放出 Inkling 2 Small 的模型权重，该模型已在 Hugging Face 上架，采用 Apache 2.0 许可证开放下载，允许社区自由微调与商用，并同步上线 Together AI 托管平台。这是该团队对小型模型开放权重承诺的兑现，也是头部创业团队以宽松协议开放大参数量模型的最新案例。

已确认

  • 模型为 Inkling 2 Small，是第二代 Inkling 系列的首个模型，权重已在 Hugging Face 开放，许可证为 Apache 2.0（@miramurati、@thinkymachines 官宣）
  • 架构为 MoE，总参数 594B，激活参数 17B，上下文长度 1M（@togethercompute、@ariG23498 引用 HF 官方文章）
  • 据 @vllmproject 的技术解读：模型为 48 层、384 专家 top-8 的 MoE，支持文本+图像多模态；vLLM 提供 day-0 支持，单节点可跑出 630 tok/s
  • 模型支持可调的 reasoning，采用自定义 chat template；HF 集合中显示包含 Inkling-2-Small 等条目
  • 据 @LiTianleli 转发的信息，SkyRL 团队宣布对 Inkling 2 Small 的 Day-0 RL 支持，已验证完整的 MXFP8、BF16 全量微调
  • Together AI 宣布 Inkling 2 Small 已上线其平台，可托管使用
  • HF 同步更新了官方模型文章，ariG23498 等 HF 工程师转发官宣；PyTorch 作者 Soumith Chintala 等社区人士亦关注此次发布
  • Murati 在官宣中感谢了团队与安全测试合作伙伴的工作，Andrew Carr 等成员对此表示祝贺
  • @ZhongRuiqi 透露权重开放后可本地运行或继续用 Tinker 平台，并邀请社区对模型权重与激活值做 probing，探究其内部机制是否与其他模型「构建方式不同」

为什么重要

  • Apache 2.0 是最宽松的开源协议之一，允许商用与自由微调，有助于社区生态发展
  • 594B 总参数的多模态 MoE 以开放权重形式发布，属于参数规模较大的开源模型；vLLM day-0 支持、SkyRL 的 RL/微调验证与 Together AI 托管显著降低了部署与研究门槛，对开源社区有实际参考与使用价值

第 2 集 · vLLM 上线 Inkling-2-Small：594B MoE、百万上下文、单卡 1100 tok/s(2026-11-13,2 条)

vLLM 官方发布 Thinking Machines 新模型 Inkling-2-Small 的部署配方，一行命令即可启动。该模型为多模态 MoE 架构，总参数 594B、激活 17B，支持 100 万上下文，单卡可达 1100 tok/s。推理细节方面，其 DSpark 概率性起草在 T=1.0 下接受长度约 3.5，在 TP8、单用户 100 tok/s 的多轮 Agent 场景中 32K 上下文破千 TPGS。