Looped Transformer 推理成本解析：跨循环冗余利用是效率关键

WanqiYang1 · x · 2026-09-26

作者指出 Looped Transformer（循环 Transformer）无需增加参数即可实现更深的计算，但代价是每一圈循环都会增加计算量和 KV cache。

其团队提出推理效率的关键在于利用跨循环冗余（cross-loop redundancy），并发布了名为 flashloop 的开源工具，可通过 pip install flashloop 直接上手，用于优化循环式模型的推理开销。