Schmidhuber 重申:1991 年快权重网络才是最早的 Transformer
SchmidhuberAI · x · 2026-11-03
Schmidhuber 转发并重申其长期观点：今天大模型所用的 Transformer 并不新鲜——1991 年他发表的「快权重程序员」(Fast Weight Programmers)研究中就包含所谓非归一化线性 Transformer，数学上与今天的线性 Transformer 等价，且因当年算力贵百万倍，成本随输入长度线性而非平方增长。
要点：
- 1991 年的 ULTRA（unnormalised linear Transformer）是 Fast Weight Programmer 研究的副产品：一个前馈网络通过梯度下降学习去「编程」另一个网络的快权重，类似存储与控制分离的计算机结构，与 metalearning 相关。
- 同年他还提出了深度神经网络的自监督预训练，即 GPT 中的「P」。
- 帖子附其个人博客长文与原始论文链接，属于对 Transformer 历史优先权的再次主张。
所属事件:Schmidhuber 重申 1991 年快权重程序员才是最早的 Transformer(5 条相关)→
「研究」频道最新
- 有限单群分类定理完成 Lean 形式化，4300万行代码揪出47篇论文96处错误 — ChrSzegedy · 2026-11-03
- 预印本:1440 局博弈实验显示 LLM 智能体全部无视防敲竹杠合约 — shoumikgoswami · 2026-11-03
- Kimi K3.1 直接读懂网络原始权重，推理出被训练的是哪款游戏 — teortaxesTex · 2026-11-03
- Meta DecisionRank:1.7B 小模型蒸馏超越 27B 生成式教师 — meta · 2026-11-03
- 多模态模型视觉推理失败根因:『参照缺口』而非感知缺陷 — Guizhen Chen · 2026-11-03
- DeFT-RAG:把多跳问题拆成自包含子问题并缓存答案复用 — Dingyi Kang · 2026-11-03