Transformer 有效感受野远小于理论值，呼应 CNN 时代老发现

CSProfKGD · x · 2026-10-22

一位计算机科学教授在评论最新研究时指出：Transformer 的有效感受野显著小于理论感受野，这一现象早在 2017 年的卷积网络研究中就被发现。他引用了 Luo 等人的经典论文《Understanding the Effective Receptive Field in Deep Convolutional Neural Networks》(arXiv:1701.04128)：深度卷积网络中单元的有效感受野呈高斯分布，且只占理论感受野的一小部分；论文还分析了非线性激活、dropout、下采样和跳跃连接对它的影响，并给出扩大有效感受野的建议。