Cradle Codec:GPU原生KV缓存压缩,通过以太网实现类似NCCL的通信

knowrohit07 · x · 2026-07-29

Cradle Codec 是一种 GPU 原生的 KV 缓存压缩技术,旨在解决 KV 缓存存储和跨节点传输的瓶颈。它通过以太网实现类似 NCCL 的通信,使得可复用前缀节省计算后产生的大状态能够高效地在节点间移动,而无需依赖 NVLink。该技术有望降低 KV 缓存的存储和传输成本。

所属事件:Cradle Codec实现GPU原生KV缓存跨节点以太网传输(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →