研究者热议循环 Transformer 设计：该只循环中间层吗

关于循环 Transformer 的层循环设计，maxsloef 与 letclaudiatweet 提出：与其把全部层都纳入循环，不如只循环中间约 2/3 的层，构成编码器—循环段—解码器三段式架构，因为输入映射到语义空间、语义空间映射回输出的部分在首轮迭代后就是死重。也有反驳指出，关键在于计算图深度而非简单层数，仅循环少量中间层效果受限。

2026-09-02 ~ 2026-09-03 · 3 条相关

• 为何只循环中间层？计算图深度而非简单层数是关键 — _AndrewZhao · 2026-09-02
• 循环 Transformer 新构想:编码器-循环段-解码器三段式架构 — letclaudiatweet · 2026-09-03
• 循环 Transformer 该只循环中间层?研究者热议层循环设计 — maxsloef · 2026-09-03