Cradle Codec实现GPU原生KV缓存跨节点以太网传输

Cradle Codec 是一种 GPU 原生的 KV 缓存压缩技术，旨在打破跨节点传输瓶颈并绕过对 NVLink 的依赖。该方案通过以太网实现类似 NCCL 的通信，将原本仅限于单卡显存的缓存转化为可跨机器、跨数据中心甚至广域网流动的状态。此举不仅解决了可复用前缀在节省算力后面临的传输难题，也为大模型推理状态的跨设备无缝迁移提供了新思路。

2026-07-29 ~ 2026-07-29 · 4 条相关

• Cradle Codec 把 KV cache 压缩后经以太网跨节点传输 — knowrohit07 · 2026-07-29
• 一种让 KV cache 跨机器跨数据中心迁移的方案 — knowrohit07 · 2026-07-29
• Cradle Codec：GPU 原生 KV Cache 压缩技术解析 — knowrohit07 · 2026-07-29

另有 1 条近重复转述:knowrohit07