Schmidhuber 重申：1991 年线性 Transformer 才是 2017 年架构的源头
SchmidhuberAI · x · 2026-10-23
Schmidhuber 再次强调其长期主张：Google 2017 年的归一化二次 Transformer（TR1）基于他 1991 年的非归一化线性 Transformer（ULTRA）——1991 年时 KEY/VALUE 还叫 FROM/TO，且 ULTRA 的计算成本随输入长度线性增长而非二次方。他称 1993 年的循环扩展论文（FWP2）引入了「注意力」术语：通过梯度下降学习「内在的注意力聚光灯」。注意力之争是 AI 史上最著名的优先权争议之一，他屡次公开主张 ChatGPT 中的 T 另有源头。
「研究」频道最新
- BrickWright：让 Agent 搭的乐高结构 100% 物理可行 — cmu-gil · 2026-10-24
- 字节级 Transformer 可行但吃上下文，BPE 存在自有其理 — max_paperclips · 2026-10-24
- MoE 模型「语义远距离 token 不共享专家」说法被社区笔记证伪 — NathanpmYoung · 2026-10-24
- 用 LLM 的人没用过传统分类器，老派 ML 经验正在流失 — antoine_chaffin · 2026-10-24
- Google 新研究：仅靠邻居通信的细胞自动机也能完成多步推理 — tyrell_turing · 2026-10-24
- 重读 Dario「大算力团块」旧文：RL 分布无法教出可学的对齐 — 1a3orn · 2026-10-24