vLLM 上线 Thinking Machines 新模型 Inkling-2-Small:594B MoE、1M 上下文、单卡 1100 tok/s
vllm_project · x · 2026-11-13
vLLM 官方发布 Thinking Machines 的 Inkling-2-Small 部署配方,一行命令即可启动：
- 多模态 MoE：594B 总参数 / 17B 激活,支持文本+图像输入,最长 1M token 上下文
- 架构亮点：48 层（40 滑窗+8 全注意力）、相对偏置注意力替代 RoPE、块级注意力残差替代残差流、384 个路由专家 top-8（前 40 层 NVFP4、后 8 层 MXFP8）
- 内置 DSpark 投机解码（每步 7 token,概率化采样）,接受长度约 3.5（T=1.0）
- 性能：TP8 下 100 tok/s/用户时约 1,100 output tok/s/GPU；32K 上下文多轮 agent 场景约 1,070 TPGS,128K 约 700
- 用 inkling-verify 验证准确率（NIAH 至 1M、MMMU-Pro、HLE）,支持 LoRA 与 SkyRL 强化学习
所属事件:vLLM 上线 Inkling-2-Small：594B MoE、百万上下文、单卡 1100 tok/s(2 条相关)→
「Infra」频道最新
- 印度为何难预训练大模型？网友：缺的是投资不是GPU — teortaxesTex · 2026-11-13
- 曝黄仁勋辞任 Nvidia CEO，现金流转换率骤降至 -63% — SumitGup · 2026-11-13
- Intel 携手 RadixArk 优化 SGLang，代码将回馈上游 — ying11231 · 2026-11-13
- 微软、AWS、Google 等全线服务集中宕机，DownDetector 报告激增 — zainhas · 2026-11-13
- vLLM 机架级共享 KV 池：高并发下命中率仍达 96.5-97% — vllm_project · 2026-11-13
- vLLM 优化 Rubin:DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍 — vllm_project · 2026-11-13