KV 共享机制解析:60 层模型只留 21% KV cache 反而损失更低

yoavartzi · x · 2026-10-24

X 用户 huskydogewoof 在 Yoav Artzi 转发的讨论中,对一篇 KV 共享(KV sharing)论文给出技术分析:在 AdamW + FineWeb、无深度专属技巧的设定下,60 层模型仅保留 21% 的 KV cache,loss 反而低 0.039 nats,且增益可迁移到非循环(non-looped)模型,结论可信。他推测原因在于 pre-LN 架构的「深度诅咒」:深层几乎不改变其输入,键值与浅层冗余,共享消除了这种冗余;而穿过共享 cache 的梯度会塑造浅层以服务深层读取——如果 detach 掉增益就消失。他还建议作者把 Figure 1 的 baseline 换成随迭代性能提升而非恶化的对照。