拆解 DeepSeek CED:YOCO 式全局分支只缓存编码器 KV
stochasticchasm · x · 2026-09-11
- 作者分析 DeepSeek 的 CED 设计：与 YOCO 思路类似，应用于 CSA2 层的全局分支，且每个层各自独立。
- 解码器中每个 CSA2 层同时有全局分支和局部 SWA 分支：SWA 分支用当前层隐藏状态计算，全局分支的 KV cache 只是编码器隐藏状态的线性投影，因此 prefill 阶段无需额外操作，decode 时用一次线性投影即可拿到所需 KV。
- 顺带澄清 YOCO 设计：模型前半段照常计算，将隐藏状态再投影一次得到 K/V，后半段所有层共享同一个 KV cache。
所属事件:DeepSeek CED 与 GLM 的 KV 缓存复用机制解析(4 条相关)→
「研究」频道最新
- 世界模型 vs LLM：下一个 token 预测为何建不出内部表征 — TheTuringPost · 2026-09-11
- 用 AI 智能体优化比特币椭圆曲线量子电路，ECDSA.fail 挑战论文上 arXiv — jedisct1 · 2026-09-11
- 博主反思 7 月以来 AI4math 进展:担忧难以排除的灰暗未来 — nanjiang_cs · 2026-09-11
- Pinokio 作者剖析数字溯源难题:哈希不够,判定"相同"是社会问题 — cocktailpeanut · 2026-09-11
- Trail of Bits 开源 trailmix 电路工具链，得分超越 Google 量子 ECC 白皮书 — jedisct1 · 2026-09-11
- Artificial Analysis 没被收买：自费 1.3 万美元实测各家模型 — Antblue · 2026-09-11