Schmidhuber 重申:1991 年 ULTRA 才是线性注意力与 Transformer 概念源头
SchmidhuberAI · x · 2026-10-05
Schmidhuber 再次强调其 1991 年提出的非归一化线性 Transformer(ULTRA)早已实现线性化注意力,计算成本随输入规模线性而非二次增长,KEY/VALUE 当时叫 FROM/TO。
他声称 Google 2017 年的归一化二次 Transformer 建立在 ULTRA 原理之上,并指出 1993 年的循环扩展论文首次提出了「注意力」(internal spotlights of attention)这一术语——即 ChatGPT 名字里的那个 T。
所属事件:Schmidhuber重申线性注意力Transformer早在1991年问世(3 条相关)→
「研究」频道最新
- Schmidhuber 重申:线性化自注意力的 Transformer 1992 年已问世 — SchmidhuberAI · 2026-10-05
- ML 会议 Area Chair 有权直接拒稿 AI 生成论文 — tyrell_turing · 2026-10-05
- Meta 发布 ProWAM 机器人模型：真机零样本成功率 70% — meta · 2026-10-05
- 研究员劝同行:看不懂模型行为别卡住,记下来继续走 — repligate · 2026-10-05
- Yandex Music 用一个 transformer 替换 15+ 候选生成器，收听时长 +6.3% — SettingAccording8986 · 2026-10-05
- Cohere Labs 多篇研究入选 COLM,含海报与工作坊报告 — Cohere_Labs · 2026-10-05