Schmidhuber 再提旧账：2017 Transformer 源自 1991 线性注意力
SchmidhuberAI · x · 2026-10-05
Schmidhuber 转发并强调其 1991 年提出的「未归一化线性 Transformer」（ULTRA）工作，认为 Google 2017 年的归一化二次 Transformer 建立在其原理之上。
要点：
- 1991 年 ULTRA 中，KEY/VALUE 当时被称为 FROM/TO；其计算成本随输入规模线性增长，而非二次增长。
- 1993 年关于 ULTRA 循环扩展的论文引入了注意力术语，即通过梯度下降学习「internal spotlights of attention」。
- 他借此指出 ChatGPT 中的 T（Transformer）可追溯至这一早期工作，并附上详细参考文献链接。
所属事件:Schmidhuber 重申线性注意力与 Transformer 概念源自 1991 年 ULTRA(2 条相关)→
「漫话AGI」频道最新
- 主动式 Agent 会跑 ML 训练,却没人教它职场沟通 — menhguin · 2026-10-05
- 脆弱世界假说或成立：认知劳动爆发将解锁廉价毁灭性武器 — deanwball · 2026-10-05
- AI 编码助手或切断初级工程师成长管线 — Suspicious_Orchid770 · 2026-10-05
- halvarflake:2000 年来激励机制失灵已磨掉两三代安全工程师 — halvarflake · 2026-10-05
- AI 前后对比：从「维基百科不算来源」到「求你至少看一眼」 — NC_Renic · 2026-10-05
- 用 AI 复刻 Matt Levine 写作风格，作者称成品不会公开 — morqon · 2026-10-05