vLLM 解析 Inkling 循环架构:共享权重但各轮 KV 状态彼此独立
vllm_project · x · 2026-11-21
vLLM 在支持 Thinking Machines 循环 Inkling 模型的技术线程第 2 部分中解析其架构处理:「权重共享程度高到让 RNN 都脸红」。
- 每次循环的 KV cache 与卷积状态保持独立(按 pass 索引),共享权重不会合并这些缓存。
- 跨循环通过门控消息控制器传递信息:上一轮的 AttnRes 消息读出,经门控(目标+消息,FP32 混合)进入下一子层输入,再经 RMS 归一化输出 BF16。
- DSpark 按「层访问」记录隐藏状态,因此同一层被重复使用时各状态仍可区分。
所属事件:vLLM 首日支持 Inkling 循环模型,GB200 解码延迟最高降 2.68 倍(2 条相关)→
「Infra」频道最新
- Thinking Machines 发 Inkling 2 Mini:26B 循环 MoE 本地模型,支持 1M 上下文 — mervenoyann · 2026-11-21
- Ollama CEO 撰文:企业采用开源模型的需求持续增长 — ycombinator · 2026-11-21
- 英伟达单日暴跌 13.17%,股价触及 126.75 美元 — jfischoff · 2026-11-21
- vLLM 实现 TML 新模型 Day-0 支持,GB200 解码延迟降至 3.84ms — vllm_project · 2026-11-21
- vLLM 首日支持 Thinking Machines 新循环 Inkling 模型 — vllm_project · 2026-11-21
- Starcloud 自建太空数据中心花 250 万美元,已把 H100 送上天 — chetanp · 2026-11-21