vLLM 首日支持 Inkling 循环模型:GB200 解码延迟最高降至 2.68 倍快
vllm_project · x · 2026-11-21
vLLM 宣布对 Thinking Machines 的循环 Inkling 模型提供首日(day-0)支持,并给出系统优化数据:12 个共享核心层、每 token 跑 3 次、跨循环用门控消息传递。
- 优化后 NVIDIA GB200 TP1 解码延迟:batch 1 从 10.29ms 降至 3.84ms(2.68 倍加速),batch 32 从 16.41ms 降至 7.84ms(2.09 倍)。
- 每步 kernel 数从 4,278 减到 927,减少 78.3%。
- 工程要点:权重大量共享但每次循环的 KV cache 与卷积状态彼此独立(按 pass 索引),DSpark 按层访问记录隐藏状态,融合消息处理与 conv/mix kernel 以减少循环间开销。
所属事件:vLLM 首日支持 Inkling 循环模型,GB200 解码延迟最高降 2.68 倍(2 条相关)→
「Infra」频道最新
- Thinking Machines 发 Inkling 2 Mini:26B 循环 MoE 本地模型,支持 1M 上下文 — mervenoyann · 2026-11-21
- Ollama CEO 撰文:企业采用开源模型的需求持续增长 — ycombinator · 2026-11-21
- 英伟达单日暴跌 13.17%,股价触及 126.75 美元 — jfischoff · 2026-11-21
- vLLM 实现 TML 新模型 Day-0 支持,GB200 解码延迟降至 3.84ms — vllm_project · 2026-11-21
- vLLM 解析 Inkling 循环架构:共享权重但各轮 KV 状态彼此独立 — vllm_project · 2026-11-21
- vLLM 首日支持 Thinking Machines 新循环 Inkling 模型 — vllm_project · 2026-11-21