vLLM 上线 Inkling-2-Small：594B MoE、百万上下文、单卡 1100 tok/s
vLLM 官方发布 Thinking Machines 新模型 Inkling-2-Small 的部署配方，一行命令即可启动。该模型为多模态 MoE 架构，总参数 594B、激活 17B，支持 100 万上下文，单卡可达 1100 tok/s。推理细节方面，其 DSpark 概率性起草在 T=1.0 下接受长度约 3.5，在 TP8、单用户 100 tok/s 的多轮 Agent 场景中 32K 上下文破千 TPGS。
2026-11-13 ~ 2026-11-13 · 2 条相关
- 第 1 集:Thinking Machines 开源 Inkling 2 Small 权重(2026-11-13,11 条)
- 第 2 集:vLLM 上线 Inkling-2-Small：594B MoE、百万上下文、单卡 1100 tok/s(2026-11-13,2 条)
- Inkling 2 Small 推理数据：32K 上下文多轮 Agent 场景破千 TPGS — vllm_project · 2026-11-13
- vLLM 上线 Thinking Machines 新模型 Inkling-2-Small:594B MoE、1M 上下文、单卡 1100 tok/s — vllm_project · 2026-11-13