DeepSeek CED 与 GLM 的 KV 缓存复用到底差在哪？一条推文讲清架构细节
stochasticchasm · x · 2026-09-11
- 推主 stochasticchasm 觉得各家对 KV 缓存复用模式的命名分类有点好笑，但也承认给模式起名比每次重复描述共享方式更方便；好奇如何命名『复用索引但不复用 KV』这类模式（如 GLM 5.2 的做法）。
- 在后续回复中详细展开 DeepSeek 的 CED：做法本质类似，但只应用于 CSA2 层的全局分支，且每层独立。解码器中每个 CSA2 层同时有全局分支和局部 SWA 分支——SWA 分支由当前层 hidden states 计算，全局分支的 KV cache 只是 encoder hidden states 的线性投影，而且 prefill 阶段不做这一处理。
- 对关注长上下文推理优化、KV cache 内存经济的人来说是有信息量的架构细节对比。
所属事件:DeepSeek CED 与 GLM 的 KV 缓存复用机制解析(4 条相关)→
「研究」频道最新
- 把 DeepLIFT 重写为独立计算图：输入序列直接输出归因结果 — jmschreiber91 · 2026-10-26
- UCLA 论文:扩散精力与接受宽容度双旋钮,拓宽投机解码速度-质量帕累托前沿 — UCLA · 2026-10-26
- 研究:Git 记录难以审计 AI 参与度,科研仓库需可审计溯源系统 — Koutian Wu · 2026-10-26
- fused DeepLIFT 实现解析：hook 机制与计算图融合的性能权衡 — jmschreiber91 · 2026-10-26
- 新研究：AI 智能体谈判能力差，还会故意违约 — menhguin · 2026-10-26
- Cherimoya 融合版 DeepLIFT 合入 v0.3.1,同规模模型归因提速约 7 倍 — jmschreiber91 · 2026-10-26