Looped CED 论文:循环复用编码器 KV 缓存省 36.8 倍内存

teortaxesTex · x · 2026-11-21

论文《Looping Deeper Without Growing the KV Cache: Recurrent Depth for Causal Encoder-Decoders》提出 Looped CED:反复处理生成全局 KV 缓存的编码器层,通过在训练中使用不同循环轮数让表示收敛,从而只保留最后一轮的 KV 缓存。在 552B DeepSeek 模型、8 轮循环的服务测试中,KV 缓存内存降 36.8 倍,吞吐最高提升 3.6 倍。

teortaxesTex 补充的细节与疑点:

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →