276B参数MoE模型可跑单卡，vLLM作者赞Inkling-Small
woosuk_k · x · 2026-07-31
vLLM 作者 Woosuk Kwon 转发并高度评价了 Thinkymachines 发布的 Inkling-Small 模型，指出其体积小到足以在单张 NVIDIA B300 加速卡上运行，并认为它可能是同级别模型中表现最好的。
根据被引用的 vLLM 官方推文，Inkling-Small 总参数量达 276B，激活参数为 12B。该模型原生支持文本、图像和音频输入，具备 100 万 token 的上下文窗口。目前其权重已开放，并针对 Blackwell 架构提供了 Day 0 的 vLLM 优化支持。
所属事件:Inkling-Small发布：276B参数12B激活，开源登顶ARC(48 条相关)→
「Infra」频道最新
- Beam 服务实测:4×B300 NVFP4 并发16 达 1769 tok/s — vllm_project · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Beam 架构拆解:52 层 MoE 每_token_激活 8/256 专家 — vllm_project · 2026-10-16
- Reflection 发布 501B MoE 模型 Beam,vLLM 首日即支持 — vllm_project · 2026-10-16