Schmidhuber 转发耶鲁课程:快权重编程正重回深度学习核心
SchmidhuberAI · x · 2026-11-06
耶鲁 Kazuki Irie 本学期 CPSC 7770 课程讲了「权重空间编程」四大主题:作为权重空间程序员的梯度下降、快权重编程、元学习(GD 写出学习算法)、自指权重矩阵与 RSI。
Schmidhuber 转发并指出这是 1990 年代神经快权重程序员already做过的老东西——包括 1991 年的非归一化线性 Transformer(即今天线性 Transformer 的前身)。配图为课程讲义,详细展示了 slow net/fast net 双网络结构、DeltaNet 到自指权重矩阵的元层级折叠,以及用可微序列模型参数化学习算法的元学习思路。
「研究」频道最新
- Caltech Van Valen 实验室宣布离开 X,模型全部转投 Hugging Face — anshulkundaje · 2026-11-06
- Soumith 晒图:Inkling 2 基础模型代码损失超越 GLM-5.3 与 DeepSeek V4 — soumithchintala · 2026-11-06
- Cartesia H-Net 展示「上下文分词」:模型无分词器也能学会切分 DNA 与生词 — TheTuringPost · 2026-11-06
- 第三方复核:零公理 Lean 4 形式化成立,但并未真正解决千禧年 Yang–Mills 难题 — kevrussell · 2026-11-06
- 两家公司想合训模型又怕数据不兼容?学习理论给出两方差分隐私方案 — roydanroy · 2026-11-06
- AI 全自动实验室完成 11000 步实验,Claude 助解 150 亿蛋白序列 — karlwaldman · 2026-11-06