拆解 DeepSeek CED:YOCO 式全局分支只缓存编码器 KV
stochasticchasm · x · 2026-09-11
- 作者分析 DeepSeek 的 CED 设计：与 YOCO 思路类似，应用于 CSA2 层的全局分支，且每个层各自独立。
- 解码器中每个 CSA2 层同时有全局分支和局部 SWA 分支：SWA 分支用当前层隐藏状态计算，全局分支的 KV cache 只是编码器隐藏状态的线性投影，因此 prefill 阶段无需额外操作，decode 时用一次线性投影即可拿到所需 KV。
- 顺带澄清 YOCO 设计：模型前半段照常计算，将隐藏状态再投影一次得到 K/V，后半段所有层共享同一个 KV cache。
所属事件:DeepSeek CED 与 GLM 的 KV 缓存复用机制解析(4 条相关)→
「研究」频道最新
- Captum 融合版 DeepLIFT 合并发布 v0.3.1，速度提升约 7 倍 — jmschreiber91 · 2026-10-26
- EMNLP 主题演讲背后：用语言模型「模拟学习者」生成儿童语言习得新假设 — najoungkim · 2026-10-26
- 新智能体基准对标 Vending Bench：不只算利润，还测模型违约率 — xuanalogue · 2026-10-26
- 把 DeepLIFT 重写为独立计算图：输入序列直接输出归因结果 — jmschreiber91 · 2026-10-26
- UCLA 论文:扩散精力与接受宽容度双旋钮,拓宽投机解码速度-质量帕累托前沿 — UCLA · 2026-10-26
- 研究:Git 记录难以审计 AI 参与度,科研仓库需可审计溯源系统 — Koutian Wu · 2026-10-26