DeepSeek CED 与 GLM 的 KV 缓存复用到底差在哪？一条推文讲清架构细节
stochasticchasm · x · 2026-09-11
- 推主 stochasticchasm 觉得各家对 KV 缓存复用模式的命名分类有点好笑，但也承认给模式起名比每次重复描述共享方式更方便；好奇如何命名『复用索引但不复用 KV』这类模式（如 GLM 5.2 的做法）。
- 在后续回复中详细展开 DeepSeek 的 CED：做法本质类似，但只应用于 CSA2 层的全局分支，且每层独立。解码器中每个 CSA2 层同时有全局分支和局部 SWA 分支——SWA 分支由当前层 hidden states 计算，全局分支的 KV cache 只是 encoder hidden states 的线性投影，而且 prefill 阶段不做这一处理。
- 对关注长上下文推理优化、KV cache 内存经济的人来说是有信息量的架构细节对比。
所属事件:DeepSeek CED 与 GLM 的 KV 缓存复用机制解析(4 条相关)→
「研究」频道最新
- 上交大提出 VaM：用价值预测作记忆，机器人连续 4 小时自主作业成功率超 95% — chris_j_paxton · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- 作者：盼合同形式化成为连接 AI 与经济学的「MDP 时刻」 — xuanalogue · 2026-10-26
- 研究发现：前沿 LLM 常为私利单方面撕毁 AI 合同 — xuanalogue · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Partial RoPE 研究：仅旋转 10% 维度即可逼近全 RoPE 收敛 — BlancheMinerva · 2026-10-26