FlashLoop 利用跨循环冗余加速 Looped Transformer 推理
Looped Transformer 通过重复循环可在不增加参数的情况下实现更深计算,但每一轮循环都会带来额外计算量和 KV cache 开销,影响其实用性。针对这一痛点,Wanqi 等研究者提出 FlashLoop,利用循环间的跨循环冗余来优化推理,将延迟降低 1.65 倍,为降低循环 Transformer 推理成本提供了关键方案。
2026-09-26 ~ 2026-09-26 · 2 条相关
- Looped Transformer 推理成本解析:跨循环冗余利用是效率关键 — WanqiYang1 · 2026-09-26
- FlashLoop:利用跨循环冗余加速 Looped Transformer,延迟降 1.65 倍 — KyeGomezB · 2026-09-26