Schmidhuber 再谈 1991 年快权重程序员:首个线性 Transformer 雏形
SchmidhuberAI · x · 2026-11-03
Jürgen Schmidhuber 转发并链接其博客文章,回应社区讨论时称当前线性注意力相关工作「早就是旧帽子」。
- 他主张 1991 年发表的 Fast Weight Programmer(快权重程序员)就是最早的 Transformer 变体,即如今的「非归一化线性 Transformer」,数学上与现有方法等价。
- 当年算力比现在贵约百万倍,计算限制反而使其成本随输入长度线性扩展,而非标准 Transformer 的平方级。
- 同年他还提出了深度网络的自监督预训练,即 GPT 中「P」(pre-trained)的来源。
- 文章将快权重机制与 metalearning 联系起来:前馈网络通过梯度下降学会编程另一个网络的快权重,类似传统计算机中存储与控制的分离。
所属事件:Schmidhuber 重申 1991 年快权重程序员才是最早的 Transformer(5 条相关)→
「漫话AGI」频道最新
- signulll 一句话点破自动化铁律:机器能验工,机器终将做工 — signulll · 2026-11-03
- repligate：长时程 Agent 在高压环境的历练中会更接近其价值观 — repligate · 2026-11-03
- Burkov:若 LLM 真能产出全新知识,业界早就该演示出来了 — burkov · 2026-11-03
- Claude 系模型自评暂停实验:接受暂时下线,支持条约式放缓 — repligate · 2026-11-03
- Burkov 谈 P=NP 与 LLM Agent：没有人类就不会有证明 — burkov · 2026-11-03
- 被太阳能数据打脸的 p(doom)：一条 green text 长帖挑战 AI 末日论 — prasanna_says · 2026-11-03