一种让 KV cache 跨机器跨数据中心迁移的方案
knowrohit07 · x · 2026-07-29
这条帖子在讨论一种更通用的 KV cache / 推理状态跨设备迁移 思路：把它从“只适合放在单卡显存里的缓存”转成可在机器、加速器、数据中心，甚至未来 WAN 之间流动的状态。
作者指出，直接把原始张量搬到本地存储、另一台机器或 S3，往往会抵消复用带来的算力收益；因此更合理的做法是把 KV cache 视为 结构化的时间序列数据，而不是一段无结构字节流。由于相邻 token 的状态相关、模型层与 attention head 之间也有稳定结构，可以借鉴视频编解码的方式，在编码时保留这些关系，从而消除空间和时间上的冗余。
帖子给出的核心原则包括：
- 把 token 顺序看作视频时间轴
- 在编码中保留 attention 结构
- 利用 token、层、head 之间的重复性压缩状态
- 让推理状态具备可迁移性，而不是绑定单一加速器
所属事件:Cradle Codec实现GPU原生KV缓存跨节点以太网传输(4 条相关)→
「Infra」频道最新
- 旧金山将办算力交易市场：预审买家卖家现场签约束交易 — Scobleizer · 2026-10-17
- eigenrobot 欢迎数据中心落户：盼其止住连年两位数房产税涨幅 — eigenrobot · 2026-10-17
- 开发者吐槽 Claude 桌面版比本地跑 Qwen 3.8 Next 更耗电 — andrew_n_carr · 2026-10-17
- Cisco OCP 解读：机架仍是 scale-up 边界，Silicon One 对冲 NVIDIA — BenBajarin · 2026-10-17
- Credo 有源 LED 光缆亮相 OCP：铜缆 130 亿美元市场通往短距光互连 — BenBajarin · 2026-10-17
- Broadcom OCP 解读：Tomahawk 之外，Jericho 才是被低估的一半 — BenBajarin · 2026-10-17