Sakana 新算法 PC-ALM:千层网络无需反向传播,精度只差两个百分点
demian_ai · x · 2026-09-15
Sakana AI 发布 PC-ALM 训练算法，挑战深度学习依赖全局反向传播的根基：
- 核心结果：在 MNIST 上训练 1000 层残差网络，仅用层间局部交互传播学习信号，精度与反向传播差距约在两个百分点以内。
- 动机：标准训练要「倒带」整个前向过程，把误差回传给每一层，这正是训练离不开数据中心 GPU、无法放到端侧的原因；像人脑看电影那样边看边学、不回头重放，才是省算力的方向。
- 机制：在普通 predictive coding 中，相邻层反复调整以降低预测误差，但在深窄网络里监督信号会弱到无法引导早期层——PC-ALM 解决了这一问题。
- 更深的含义：训练算法本质上是对「计算机该长什么样」的押注；如果学习信号只需局部交互，那么训练贵的问题可能被绕开，端侧训练成为可能。
所属事件:Sakana 发布 PC-ALM：无需反向传播训练千层网络(3 条相关)→
「Infra」频道最新
- LiquidCompute 获 1500 万美元种子轮,要做 GPU 算力定价基础设施 — zephyr_z9 · 2026-09-16
- Helion 聚变能源 G 轮超额认购,最终募足 5 亿美元 — ycombinator · 2026-09-16
- nginx 1.31.6 修复 HTTP/3 堆缓冲区溢出漏洞 CVE-2026-90439 — jedisct1 · 2026-09-16
- AWS Trainium 原生跑 PyTorch,PyTorch Con 公布主题演讲 — PyTorch · 2026-09-16
- 长文详解:为什么本地跑推理模型是刚需,你需要无审查模型 — HankYeomans · 2026-09-15
- DGX Spark 本地跑 TRELLIS.2:铅笔草图一键转 3D GLB — jasonkneen · 2026-09-15