Cradle Codec 把 KV cache 压缩后经以太网跨节点传输
knowrohit07 · x · 2026-07-29
作者把 Cradle Codec 描述成一种 GPU 原生的 KV cache 压缩方案，目标是绕开 NVLink 依赖，通过 Ethernet 传输可复用的缓存状态。
他们在解决什么问题
- reusable prefixes 能省算力，但 KV cache 本身很大
- 缓存状态不仅存储成本高，在跨节点搬运时也很慢
- 没有高速互联时，传输会成为推理系统瓶颈
方案思路
- 不把 KV cache 当成“不可解释的字节数组”，而是当成 结构化的时间序列数据
- 把 token 顺序映射为时间维
- 在每一帧里保持 attention heads 的结构分离
- 将相邻层映射到独立的 frame channel
- 用专门的 codec 引擎承载压缩后的传输格式
系统意义
- 编码可以放到离线或请求路径之外完成
- 压缩后的产物可以落盘或放在存储服务后面
- 解码和恢复还能逐步向 serving engine 靠近
所属事件:Cradle Codec：突破节点限制的KV Cache压缩迁移技术(3 条相关)→
「Infra」频道最新
- H100 租赁价升至每小时 2.75 美元，算力市场继续收紧 — BenBajarin · 2026-07-29
- Andy Masley 反驳外界把他的数据中心观点简化成 prompt 成本 — AndyMasley · 2026-07-29
- 一段新手友好视频讲透 LLM 的 5 种 GPU 优化法 — 2C_ornot2C · 2026-07-29
- Jon Durbin 用每小时不到 10 美元预训练 20B MoE — const_reborn · 2026-07-29
- 本地部署算力方案：魔改版 3080 20GB 混搭 3090 划算吗？ — YourNightmar31 · 2026-07-29
- 退役 NVIDIA 老卡拼出约 165 美元本地 AI 服务器 — blelbach · 2026-07-29