vLLM 首日支持 Inkling 循环模型,GB200 解码延迟最高降 2.68 倍
vLLM 宣布对 Thinking Machines 的循环 Inkling 模型提供首日支持,并公布系统优化数据:在 GB200 上解码延迟最高降至原来的 2.68 倍快。其技术团队随后解析了 Inkling 的循环架构处理方式——模型含 12 个共享核心层、每个 token 跑 3 次循环,权重共享程度极高但各轮循环的 KV 状态彼此独立,vLLM 针对这一特性做了专门优化。
2026-11-21 ~ 2026-11-21 · 2 条相关
- vLLM 解析 Inkling 循环架构:共享权重但各轮 KV 状态彼此独立 — vllm_project · 2026-11-21
- vLLM 首日支持 Inkling 循环模型:GB200 解码延迟最高降至 2.68 倍快 — vllm_project · 2026-11-21