FlashLoop:利用跨循环冗余加速 Looped Transformer,延迟降 1.65 倍
KyeGomezB · x · 2026-09-26
- Looped Transformer 通过重复循环实现更深计算而不增加参数，但每多一轮循环都增加计算量与 KV cache 开销，这也是许多人对其实用性的顾虑。
- Wanqi Yang 等人发现：跨循环中只有一小部分特征真正发生变化，存在大量冗余可挖。研究识别出三类计算冗余并加以利用来加速推理。
- 结果：延迟降低 1.65×，内存占用减少 6×。
- 已开源，pip install flashloop 即可使用。
所属事件:FlashLoop 利用跨循环冗余加速 Looped Transformer 推理(2 条相关)→
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元，锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11