Cradle Codec：突破节点限制的KV Cache压缩迁移技术

Cradle Codec 是一种 GPU 原生的 KV Cache 压缩技术，旨在解决大模型推理中可复用前缀的跨节点传输瓶颈。该方案绕开了对 NVLink 的依赖，通过将以太网作为传输介质，把原本只能存放在单卡显存的缓存状态转化为可流动的数据。这使得 KV Cache 能够在加速器、机器乃至数据中心之间高效迁移，为跨设备的算力调度与状态共享提供了新思路。

2026-07-29 ~ 2026-07-29 · 3 条相关

• Cradle Codec 把 KV cache 压缩后经以太网跨节点传输 — knowrohit07 · 2026-07-29
• 一种让 KV cache 跨机器跨数据中心迁移的方案 — knowrohit07 · 2026-07-29
• Cradle Codec：GPU 原生 KV Cache 压缩技术解析 — knowrohit07 · 2026-07-29