Looped CED 论文:循环复用编码器 KV 缓存省 36.8 倍内存
teortaxesTex · x · 2026-11-21
论文《Looping Deeper Without Growing the KV Cache: Recurrent Depth for Causal Encoder-Decoders》提出 Looped CED:反复处理生成全局 KV 缓存的编码器层,通过在训练中使用不同循环轮数让表示收敛,从而只保留最后一轮的 KV 缓存。在 552B DeepSeek 模型、8 轮循环的服务测试中,KV 缓存内存降 36.8 倍,吞吐最高提升 3.6 倍。
teortaxesTex 补充的细节与疑点:
- 循环发生在编码器侧且收益随规模增长(150M 模型 BPB 提升 0.0248,340M 约 0.028);换算成等效参数,循环约等于 1.3–1.6 倍模型大小,每次循环约值 1/41/8 个真实层。
- 但推理时编码器每轮都要完整跑循环:若套用在 V4.1-Flash 上意味着评估 147 层,比正常运行慢约 7.4 倍——推理解码快不等于整体快。
- 论文也声明未训练过循环的 552B 模型不能直接外推。
「Infra」频道最新
- Anthropic 已递交纳斯达克上市申请,博主劝你先在本地存一个开源模型 — alex_verem · 2026-11-21
- 微软推 MAI Licensed Weights:可带走前沿模型权重部署到自有环境 — marlene_zw · 2026-11-21
- Google:Agent 是会话不是请求,GKE 节点池要按会话来规划 — rseroter · 2026-11-21
- 英伟达年内跌超53%,Reddit 热议 2027 年或迎廉价 GPU — Markus2816 · 2026-11-21
- AI 算力股集体重挫:美光跌 12.6%,Arm、CoreWeave、Anthropic 均跌超 10% — xiaohu · 2026-11-21
- Ben Bajarin:AI 仍是信息时代部署期,投资者普遍「不确信」 — BenBajarin · 2026-11-21