276B参数MoE模型可跑单卡，vLLM作者赞Inkling-Small

woosuk_k · x · 2026-07-31

vLLM 作者 Woosuk Kwon 转发并高度评价了 Thinkymachines 发布的 Inkling-Small 模型，指出其体积小到足以在单张 NVIDIA B300 加速卡上运行，并认为它可能是同级别模型中表现最好的。

根据被引用的 vLLM 官方推文，Inkling-Small 总参数量达 276B，激活参数为 12B。该模型原生支持文本、图像和音频输入，具备 100 万 token 的上下文窗口。目前其权重已开放，并针对 Blackwell 架构提供了 Day 0 的 vLLM 优化支持。