双注意力定义不含因果掩码：判别式任务中双向注意力更强
antoine_chaffin · x · 2026-10-10
antoinechaffin 连发两推主张：attention is all you need 中的注意力定义本身并不包含 causal masking；因果掩码只是让自回归生成变得可学习的技巧，是注意力的「更弱版本」。他认为双向注意力在判别式任务上表现碾压式更强，这是不容否认的事实。
所属事件:Meta 研究者：注意力定义本不含因果掩码(3 条相关)→
「研究」频道最新
- KKT 点对应 CDT+GT 均衡：不完美记忆博弈与策略梯度优化的理论桥梁 — jessi_cata · 2026-10-10
- 系统性扫描发现：最优优化器随批量大小而变 — aaron_defazio · 2026-10-10
- Dino Forcing 论文：直接预测预训练表征，收敛快一倍且 FID 更优 — kastnerkyle · 2026-10-10
- 整数乘法算法逼近 κ≈7e-4 之墙,数十 AI 智能体并行协作攻关 — ChrSzegedy · 2026-10-10
- 微软论文:Coding Agent 卡在理解代码,而非编辑行数 — rohanpaul_ai · 2026-10-10
- 不用一对图文对:DINOv2 与 Qwen3 嵌入空间零样本对齐成功 — TimDarcet · 2026-10-10