Thinking Machines 发 Inkling 2 Small：594B/17B MoE，单节点跑出 630 tok/s

vllm_project · x · 2026-11-13

vLLM 宣布 day-0 支持 Thinking Machines 的 Inkling 2 Small，并公开详细技术解读。

规格：594B 总参数 / 17B 激活的 MoE（48 层、384 专家 top-8），文本+图像输入，最高 1M 上下文
架构升级（相对 Inkling）：块状注意力残差（8 blocks × 6 层）、attention sink、gated attention、ViT 图像编码器
混合精度 MoE：0–39 层用 NVFP4、40–47 层用 MXFP8，因此单个 GB200/GB300 节点即可服务
原生 DSpark 投机解码：RNN head 每步起草 7 个 token，接受长度约 3.5，TP4 下单用户最高 630 tok/s
工程优化：kernel fusion、PDL、深度调优的 Gluon attention kernel、序列并行；支持 LoRA 与 RL（SkyRL）

帖内附 vllm serve 启动命令，含 reasoning/tool-call parser 与投机解码配置。

「Infra」频道最新