Sakana AI 发布 PC-ALM：局部学习训练千层网络

Sakana AI 于 9 月 15 日发布论文《Augmented Lagrangian Predictive Coding》（PC-ALM），提出一种替代反向传播的局部学习方法：仅用层间局部交互传播学习信号，即可训练 1000 层神经网络。其动机来自大脑无法精确实现反向传播这一观察。该方法迅速引发社区讨论，Yann LeCun 与多位研究者参与点评，新颖性与泛化能力成为争论焦点。

已确认

• Sakana AI 官方发布 PC-ALM（m5 为原始发布帖），论文基于预测编码框架，可仅用局部动力学训练 1000 层神经网络。
• 核心实验结果：在 MNIST 上训练 1000 层残差网络，局部学习与反向传播的精度差距约在两个百分点以内（demianai 转述）。
• Yann LeCun 参与点评，指出该方法本质上是「target prop」的一个变体：每层输入被视为自由隐变量、为上一层输出提供目标，并可从带增广拉格朗日的反向传播推导得出（arannayebi 转述 LeCun 观点）。
• 研究者 Pierce Minervini 回应指出这一思路并非全新，2018 年前后已有类似工作（m3）。

尚未确认

• 该方法在更大规模数据集与更深/更宽网络上的表现，现有材料仅涉及 MNIST 实验结果。

为什么重要

• 反向传播是深度学习的根基，PC-ALM 若能以局部学习逼近其精度，对理解大脑式学习机制和降低全局梯度通信开销均有启发意义。
• 但正如 LeCun 所调侃的「一切在 MNIST 上都管用」，以及 Minervini 指出的历史先例，该方法的新颖性与泛化能力仍需更多证据检验。

2026-09-15 ~ 2026-09-16 · 5 条相关

• 【源头】Sakana 推 PC-ALM 局部学习替代反向传播,研究者指思路 2018 年已有 — PMinervini · 2026-09-15
• Sakana 推出 PC-ALM：不用反向传播训练千层网络，LeCun 点评 — ylecun · 2026-09-15
• Sakana 新算法 PC-ALM:千层网络无需反向传播,精度只差两个百分点 — demian_ai · 2026-09-15
• 【源头】Sakana AI 提出 PC-ALM：不靠反向传播训练千层网络 — SakanaAILabs · 2026-09-16
• 【源头】LeCun 点评生物可塑性学习算法：一切在 MNIST 上都管用 — aran_nayebi · 2026-09-16