Quanta 深挖注意力机制起源：Bahdanau 从翻译练习悟出 AI 关键一步

CatAstro_Piyush · x · 2026-10-16

Quanta Magazine 长文回顾 Dzmitry Bahdanau 提出注意力机制的故事：早期神经网络架构是能力瓶颈，而注意力这一数学操作改变了一切。文章用「The animal didn't cross the street because it was too tired / too wide」的代词翻译例子说明模型如何判断「it」指代动物还是街道——正确译成法语需要区分 il/elle。Bahdanau 回忆自己学英语做翻译时总要左右扫视原文找下一个词，他把这个过程表达为神经机制：让网络以数学方式定位句中对下一个词最有信息量的部分，且首次尝试即奏效。转发者感叹：来自人类认知的直觉想法确实一次次加速了 AI 进步。