Cradle Codec 把 KV cache 压缩后经以太网跨节点传输
knowrohit07 · x · 2026-07-29
作者把 Cradle Codec 描述成一种 GPU 原生的 KV cache 压缩方案，目标是绕开 NVLink 依赖，通过 Ethernet 传输可复用的缓存状态。
他们在解决什么问题
- reusable prefixes 能省算力，但 KV cache 本身很大
- 缓存状态不仅存储成本高，在跨节点搬运时也很慢
- 没有高速互联时，传输会成为推理系统瓶颈
方案思路
- 不把 KV cache 当成“不可解释的字节数组”，而是当成 结构化的时间序列数据
- 把 token 顺序映射为时间维
- 在每一帧里保持 attention heads 的结构分离
- 将相邻层映射到独立的 frame channel
- 用专门的 codec 引擎承载压缩后的传输格式
系统意义
- 编码可以放到离线或请求路径之外完成
- 压缩后的产物可以落盘或放在存储服务后面
- 解码和恢复还能逐步向 serving engine 靠近
所属事件:Cradle Codec实现GPU原生KV缓存跨节点以太网传输(4 条相关)→
「Infra」频道最新
- Reddit 网友发问:为何没有专为 24-32GB 显存设计的视频模型 — BreadUndPeeTears · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- Adobe 联手 NVIDIA 优化创意应用：RTX Spark 本地提速至 2 倍 — shashib · 2026-10-16
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- a16z 周报：电商封杀 agent 购物，403 拦截率翻倍 — a16z Newsletter · 2026-10-16