Fleuret 提问:因果注意力为何不对称的信息 enriched 不是问题

francoisfleuret · x · 2026-11-17

知名研究者 François Fleuret 提出一个值得讨论的架构问题:由于 Transformer 的因果结构,处理「The cat hunts the mouse」时,<mouse> 的 embedding 能被「被猫捕猎」这一信息 enrich,但 <cat> 的 embedding 却无法对称地获得「正在捕猎老鼠」的信息。

他追问:为什么这在实践中似乎并不构成问题?这是对因果注意力信息流动单向性这一基础性质的开放式讨论,评论区值得一看。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →