Meta 研究者：注意力定义本不含因果掩码

Meta 研究者 antoinechaffin 连发多帖提醒大家重读《Attention Is All You Need》，指出原始注意力机制的定义并不包含因果掩码；因果掩码只是让自回归生成可行的训练技巧。他认为在判别式任务中，使用不含掩码的双向注意力效果更强，不应将因果掩码视为注意力机制的本质组成部分。

2026-10-10 ~ 2026-10-10 · 3 条相关

• 双注意力定义不含因果掩码：判别式任务中双向注意力更强 — antoine_chaffin · 2026-10-10
• 研究者提醒：注意力定义本不含因果掩码，那只是自回归的权宜之计 — antoine_chaffin · 2026-10-10

另有 1 条近重复转述:antoine_chaffin