循环 Transformer KV 缓存共享新法：GPU 显存省 66%、首 token 延迟降 83.6%

realDanFu · x · 2026-10-26

UC San Diego 与 Together AI 团队(含 Daniel Fu 等)提交论文 BeNice!，解决循环 Transformer(looped architecture)推理时每次循环都生成独立 KV-cache、显存随循环数线性增长的问题。

方法分两阶段：先用随机深度预训练，诱导收缩残差动力学，使各次循环的表示趋近同一极限；再用 BeNice! 后训练，把最后一次循环的 KV-cache 广播到第一次循环，训练模型产生兼容的残差，同时保持原模型质量。

在 1.3B 模型上实测：总 GPU 显存降低 66.2%；模拟长上下文场景吞吐提升至多 23.6%、90 分位首 token 延迟降低 83.6%，质量不损失。KV 共享还可与 MLA、Kimi delta attention 等高效注意力以及 fp8/nvfp4 KV 量化叠加使用，缓存命中率提升至多 31.4%。

原文链接 →

「Infra」频道最新

• Anthropic工程师确认Claude Code缓存命中率已高，缓存节省落地 — teortaxesTex · 2026-10-26
• 六个月赌局：混合部署胜过全面本地化，按任务拆分模型才省钱 — yi111 · 2026-10-26
• Deco 论文把推荐模型「思考」与「拼写」解耦，吞吐提升至 8.6 倍 — _reachsumit · 2026-10-26
• 预算 4000-5000 美元想本地跑 AI 视频生成，求购机建议 — dewsphere · 2026-10-26
• ThousandML 开源 4-bit CQ 量化微调:验证损失比 Unsloth 低 17.4% — textclf · 2026-10-26
• OpenAI 与 Anthropic 数月内降价至多 80%,token 单价跌至 43 — Azer_pubes33 · 2026-10-26

更多「Infra」频道 AI 资讯 →