Sakana 推出 PC-ALM:不用反向传播训练千层网络,LeCun 点评
ylecun · x · 2026-09-15
Sakana AI 发布 PC-ALM,一种替代反向传播的局部学习方法,仅靠局部动力学即可训练 1000 层神经网络。
- 核心思路:每层输入被视为自由隐变量,作为上一层的优化目标,即「target prop」路线
- 理论基础:可从反向传播的增广拉格朗日形式推导——把「层 k+1 的输入 = 层 k 的输出」约束转为惩罚项(两者散度)
- LeCun 转发点评:很高兴看到这个 2000 年代末其实验室在稀疏自编码器上探索过的方向被重新拾起,但他强调 target prop 最终优化的仍是与反向传播相同的目标,只是梯度计算方式不同,或许更具生物学合理性
所属事件:Sakana 发布 PC-ALM 局部学习方法,无需反向传播训练千层网络(2 条相关)→
「研究」频道最新
- 四层心智分类:AI 缺的不是意识而是持续的自我意识 — FalseDinner335 · 2026-09-15
- Dynin-Robotics 发布全模态统一扩散视觉-语言-动作模型 — snu-aidas · 2026-09-15
- 端到端自动驾驶转折点:轨迹回归改为轨迹分类,作者 ALVAREZ_JOSEM 演讲 — abursuc · 2026-09-15
- 端到端自动驾驶进展:从单模 L2 模仿学习一路演进 — abursuc · 2026-09-15
- 牛津报告:多数国际 AI 协议无需黑科技即可验证执行 — davidmanheim · 2026-09-15
- SSAD 2026 演讲:自动驾驶端到端模型,从直接预测到反事实推演 — abursuc · 2026-09-15