vLLM 首日支持 Thinking Machines 新循环 Inkling 模型

vllm_project · x · 2026-11-21

vLLM 宣布对 Thinking Machines 新发布的循环(looped)Inkling 模型提供首日(day-0)支持:该架构含 12 个共享核心层,每 token 重复跑 3 次,循环之间通过门控消息传递信息。

这是 vLLM 对这一全新模型范式的快速适配,后续帖子还给出了具体的 kernel 与延迟优化数据。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →