vLLM 首日支持 Inkling 循环模型:GB200 解码延迟最高降至 2.68 倍快

vllm_project · x · 2026-11-21

vLLM 宣布对 Thinking Machines 的循环 Inkling 模型提供首日(day-0)支持,并给出系统优化数据:12 个共享核心层、每 token 跑 3 次、跨循环用门控消息传递。

所属事件:vLLM 首日支持 Inkling 循环模型,GB200 解码延迟最高降 2.68 倍(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →