FlashLoop 利用跨循环冗余加速 Looped Transformer 推理

Looped Transformer 通过重复循环可在不增加参数的情况下实现更深计算,但每一轮循环都会带来额外计算量和 KV cache 开销,影响其实用性。针对这一痛点,Wanqi 等研究者提出 FlashLoop,利用循环间的跨循环冗余来优化推理,将延迟降低 1.65 倍,为降低循环 Transformer 推理成本提供了关键方案。

2026-09-26 ~ 2026-09-26 · 2 条相关