研究者提醒：注意力定义本不含因果掩码，那只是自回归的权宜之计

antoine_chaffin · x · 2026-10-10

Meta 研究者 antoinechaffin 提醒大家重读《Attention Is All You Need》原始论文，指出原始注意力机制的定义并不包含因果掩码（causal masking）。他直言因果掩码只是让自回归生成变得可训练的技巧，从某种意义上是注意力的一种「更弱的版本」，呼吁从业者不要忘记读基础论文。这一观点暗指去掉或修改因果掩码的注意力（如非因果/全双向注意力）仍有探索空间，与近期业界对扩散语言模型和替代自回归范式的讨论相呼应。