YOCO 架构拆解:模型后半段所有层共享同一份 KV 缓存
stochasticchasm · x · 2026-09-11
关于 YOCO(You Only Cache Once)架构,作者澄清其设计其实非常简单:
- 模型前半部分是普通结构;
- 将隐藏状态再投影一次得到 K/V,然后后半段所有层复用这同一份 KV 缓存,大幅减少缓存开销。
作者还提到相关讨论中正式提及了 YoCo,并纠正命名应为 YOCO 而非 YoCo。
所属事件:DeepSeek CED 与 GLM 的 KV 缓存复用机制解析(4 条相关)→
「研究」频道最新
- Captum 融合版 DeepLIFT 合并发布 v0.3.1，速度提升约 7 倍 — jmschreiber91 · 2026-10-26
- EMNLP 主题演讲背后：用语言模型「模拟学习者」生成儿童语言习得新假设 — najoungkim · 2026-10-26
- 新智能体基准对标 Vending Bench：不只算利润，还测模型违约率 — xuanalogue · 2026-10-26
- 把 DeepLIFT 重写为独立计算图：输入序列直接输出归因结果 — jmschreiber91 · 2026-10-26
- UCLA 论文:扩散精力与接受宽容度双旋钮,拓宽投机解码速度-质量帕累托前沿 — UCLA · 2026-10-26
- 研究:Git 记录难以审计 AI 参与度,科研仓库需可审计溯源系统 — Koutian Wu · 2026-10-26