vLLM 首日支持 Inkling 循环模型,GB200 解码延迟最高降 2.68 倍

vLLM 宣布对 Thinking Machines 的循环 Inkling 模型提供首日支持,并公布系统优化数据:在 GB200 上解码延迟最高降至原来的 2.68 倍快。其技术团队随后解析了 Inkling 的循环架构处理方式——模型含 12 个共享核心层、每个 token 跑 3 次循环,权重共享程度极高但各轮循环的 KV 状态彼此独立,vLLM 针对这一特性做了专门优化。

2026-11-21 ~ 2026-11-21 · 2 条相关