Fleuret 拆解 Transformer 根本局限:序列与 token 索引的内部状态机制
francoisfleuret · x · 2026-11-17
François Fleuret 发起一场关于 Transformer 基础机制的技术讨论,指出很多人忽略了 Transformer 一个基本的技巧与局限来源:
- Transformer 在其「内部状态」中同时识别序列索引(第几条输入)与 token 索引(序列中的位置)。
- 由于因果注意力结构,处理「The cat hunts the mouse」时,<mouse> 的嵌入可以被富化为「被猫捕猎」,但 <cat> 的嵌入却无法对称地加入「正在捕猎老鼠」的信息。
- 他追问:为什么这种非对称性在实际中不是问题?后续推文(见链接)展开答案。
适合对注意力机制、因果掩码与表达能力边界感兴趣的读者跟帖阅读。
「研究」频道最新
- NeurIPS 第八届机器人学习工作坊将辩「Physical AI 能否真零样本」 — m_wulfmeier · 2026-11-17
- Fleuret 点破一个内存优化技巧:状态记录复杂度直降一个维度 — francoisfleuret · 2026-11-17
- 复旦 OpenMOSS 发长文:长上下文混合架构学得多却外推弱 — jiqizhixin · 2026-11-17
- 实验发现:让模型写代码时,Opus 97% 调用自家 Claude API — santiviquez · 2026-11-17
- 同一实验:Opus 仅 10/60 回答使用搜索,GPT 模型次次都搜 — santiviquez · 2026-11-17
- 3360 次 API 推荐实验:79% 流向四大云厂商 — santiviquez · 2026-11-17