Schmidhuber 重申:线性化自注意力的 Transformer 1992 年已问世
SchmidhuberAI · x · 2026-10-05
Jürgen Schmidhuber 引用自己旧推,再次主张 Transformer 的核心思想早有先例:1992 年发表在 NECO 的论文就实现了线性化自注意力的 Transformer,与 fast weight programmers 基本等价(仅差归一化),并把存储与控制分离,当时的 key/value 被称为 FROM/TO,attention 术语则由他在 ICANN 1993 引入。这是他一贯的「Transformer 溯源」叙事的重申。
所属事件:Schmidhuber重申线性注意力Transformer早在1991年问世(3 条相关)→
「研究」频道最新
- 上海 AI Lab 提出 SCALE:用熵引导门控实现对 SFT 特征的抑制与反转 — Shanghai-AI-Laboratory · 2026-10-05
- UCVG.cpp:一对对比 prompt 即可为任意 LLM 生成控制向量的 C++ 工具 — Egor4more · 2026-10-05
- GPU 集群上能存在多少个数字心智?Synthese 论文提出新难题 — burny_tech · 2026-10-05
- 新论文提出「自适应重构」：智能的关键是重新定义问题本身 — ValerioCapraro · 2026-10-05
- 2D 嵌入图不是定量证据:t-SNE/UMMAP 只能提假设 — bravo_abad · 2026-10-05
- 别把 Hessian 当二阶导矩阵：特征值是损失面的局部曲率 — techNmak · 2026-10-05