「注意力定义不含因果掩码」：掩码只是自回归训练的技巧
antoine_chaffin · x · 2026-10-10
antoinechaffin 回应并展开自己的观点：attention is all you need 中注意力的定义并不包含 causal masking；因果掩码只是让自回归生成可学习的工程技巧，本质上是注意力的一种更弱形式。他坚持认为双向注意力在判别式任务上优势明显，这一事实无可否认。
所属事件:Meta 研究者：注意力定义本不含因果掩码(3 条相关)→
「研究」频道最新
- NeurIPS 论文「Phantom Transfer」：数据投毒可穿透全部 11 种数据级防御 — OwainEvans_UK · 2026-10-10
- Gym-Anything 获 COLM2026 Lifelong Agents 研讨会最佳论文 — dan_fried · 2026-10-10
- DeepMind Kohli 对谈:AlphaFold 为何没真正解决蛋白质折叠 — Latent Space · 2026-10-10
- Ai2 发布 Olmo Hybrid：混合架构省 49% 训练 token 达同精度 — allen_ai · 2026-10-10
- 500 美元 RL 训练 4B 模型,金融问答反超 235B 大模型 — AI Engineer · 2026-10-10
- 10月22日旧金山 AI for Science 活动:Agent 能否端到端跑科研 — nlarusstone · 2026-10-10