Thinking Machines 开源 500B MoE 模型 Inkling 2 Small,vLLM 零日适配

woosuk_k · x · 2026-11-13

Thinking Machines Lab 发布 Inkling-2-Small,权重已以 Apache 2.0 协议在 HuggingFace 开放下载。

vLLM 宣布提供 Day-0 支持:这是一个 500B 参数的 MoE 模型,支持图文输入、文本输出,可在同一模型内结合视觉上下文问答。底层包括新的 ViT 图像编码器、NVFP4/MXFP8 混合精度 MoE 层,以及 DSpark 投机解码。

vLLM 侧由 Inferact 主导集成与优化,与 Thinking Machines 合作覆盖 MoE 与 attention 内核、视觉编码器与图像预处理、投机解码的 draft-model GEMM 等工作。

所属事件:Thinking Machines 开源多模态模型 Inkling 2 Small(22 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →