Meta FAIR 发文研究循环 Transformer 扩展规律

Meta FAIR 发布论文《How to Loop Your Transformer》,系统研究循环 Transformer 的扩展规律:通过重复应用同一 Transformer 权重,在不增加参数量的情况下获得更深网络的效果。论文细节显示实验最多使用 32 个 loop,发现了饱和反转点,并解决了并行推理的问题,作者包括 Mike Lewis 等 9 人。

2026-10-31 ~ 2026-10-31 · 2 条相关