Sakana AI 提出 PC-ALM：不靠反向传播训练千层网络
SakanaAILabs · x · 2026-09-16
Sakana AI 发布论文《Augmented Lagrangian Predictive Coding》（PC-ALM），提出一种替代反向传播的局部学习方法，可仅用局部动力学训练 1000 层神经网络。
- 核心思路：在预测编码（PC）基础上引入增广拉格朗日框架，把每层约束误差累积为层局部拉格朗日乘子，使权重更新方向对齐反向传播。
- 结果：线性 PC 网络中收敛到精确 BP 梯度的平衡态；在深至 128 层的非线性网络中，PC-ALM 在所有宽度-深度组合下匹配 BP 性能，尤其补齐了 PC 在深窄网络中的短板。
- 机制亮点：观察到「弹道式」credit 传播——信用信号均匀分布到各层，而标准 PC 是缓慢的扩散式传播。
- 意义：增广拉格朗日框架可视为 PC 的推广，或为分布式系统如何通过纯局部动力学计算 BP 式信用信号提供启示。
所属事件:Sakana AI 发布 PC-ALM：局部学习训练千层网络(5 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02
- Meta 与 MIT 论文:循环复用 Transformer 层可胜过加深参数 — rohanpaul_ai · 2026-11-02