Fleuret 提问:因果注意力为何不对称的信息 enriched 不是问题
francoisfleuret · x · 2026-11-17
知名研究者 François Fleuret 提出一个值得讨论的架构问题:由于 Transformer 的因果结构,处理「The cat hunts the mouse」时,<mouse> 的 embedding 能被「被猫捕猎」这一信息 enrich,但 <cat> 的 embedding 却无法对称地获得「正在捕猎老鼠」的信息。
他追问:为什么这在实践中似乎并不构成问题?这是对因果注意力信息流动单向性这一基础性质的开放式讨论,评论区值得一看。
「研究」频道最新
- <1000万参数 RL 智能体通关宝可梦红,比 DeepSeek-V3 小 6 万倍 — Bam4d · 2026-11-17
- 首个 Verus 形式验证基准发布,GPT-6 Astra 以 59.1 分居首 — fhuszar · 2026-11-17
- Harmonic AI 定理证明器 Aristotle 剑桥开讲:无幻觉合成正确硬件 — satnam6502 · 2026-11-17
- 合成预训练数据集 FinePhrase 下载量突破 280 万 — yb2698 · 2026-11-17
- Skild AI 开源物理求解器 Steel:比 PhysX 快 13 倍、显存省 3 倍 — deepakpathak · 2026-11-17
- MIT Jacob Andreas 让模型自我翻译神经计算,推进可解释性 — MacrinePhD · 2026-11-17