Sakana 新算法 PC-ALM:千层网络无需反向传播,精度只差两个百分点
demian_ai · x · 2026-09-15
Sakana AI 发布 PC-ALM 训练算法，挑战深度学习依赖全局反向传播的根基：
- 核心结果：在 MNIST 上训练 1000 层残差网络，仅用层间局部交互传播学习信号，精度与反向传播差距约在两个百分点以内。
- 动机：标准训练要「倒带」整个前向过程，把误差回传给每一层，这正是训练离不开数据中心 GPU、无法放到端侧的原因；像人脑看电影那样边看边学、不回头重放，才是省算力的方向。
- 机制：在普通 predictive coding 中，相邻层反复调整以降低预测误差，但在深窄网络里监督信号会弱到无法引导早期层——PC-ALM 解决了这一问题。
- 更深的含义：训练算法本质上是对「计算机该长什么样」的押注；如果学习信号只需局部交互，那么训练贵的问题可能被绕开，端侧训练成为可能。
所属事件:Sakana AI 发布 PC-ALM：局部学习训练千层网络(5 条相关)→
「Infra」频道最新
- Gary Marcus:多米诺骨牌开始倒下,算力将重演光纤过剩 — GaryMarcus · 2026-11-02
- 单台 H200 跑不动 DeepSeek 4.1 Flash，两台每小时 10.59 美元 — daluoseo · 2026-11-02
- 所有系统知识都将汇入推理与硬件，AI 时代技能版图正在重写 — Abhishekcur · 2026-11-02
- AWS 被曝算力订满至 2027，专家称「卖光」说法需看语境 — DavidLinthicum · 2026-11-02
- 富士康董事长刘扬伟：AI 不是泡沫，产品需求依然明确 — pstAsiatech · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02