ACL 2020 论文探讨：重排 Transformer 子层顺序可提升性能

giffmana · x · 2026-07-31

针对近期关于 Transformer 底层架构改进的讨论（如用 MLP 替代部分注意力层），有研究者指出 Ofir Press 等人早在 7 年前就发表了相关论文。

这篇被 ACL 2020 接收的论文《Improving Transformer Models by Reordering their Sublayers》探讨了多层 Transformer 中自注意力与前馈网络（FFN）子层的排列方式。研究发现，打破传统的交替排列，采用底部多放自注意力、顶部多放 FFN 的「三明治」结构，能够在不增加参数量、内存和训练时间的前提下，有效提升语言建模的困惑度指标。