vLLM 解析 Inkling 循环架构:共享权重但各轮 KV 状态彼此独立

vllm_project · x · 2026-11-21

vLLM 在支持 Thinking Machines 循环 Inkling 模型的技术线程第 2 部分中解析其架构处理:「权重共享程度高到让 RNN 都脸红」。

所属事件:vLLM 首日支持 Inkling 循环模型,GB200 解码延迟最高降 2.68 倍(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →