How Biological Synapses Self-Assemble Gradient Learning
Qianli Liao, Liu Ziyin, Yulu Gan, Brian Cheung, Mark T. Harnett, Tomaso Poggio
cs.NE
2024-12-28
MIT 团队提出 SAM 电路,从随机连接出发用统一的局部异突触规则自组装反馈通路,在七个图像数据集上追平 SGD,其中六个略胜。
生物学上可信的反向传播替代方案已经不少:Feedback Alignment(用固定随机矩阵传递误差)、Weight Mirroring、Kolen–Pollack(让反向权重自己学成前向权重的转置)。它们回答的是「一个现成的电路怎么学习」,没有回答这个电路本身从哪来。前向和反向通路之间那种一一对应的接线,默认就存在了。论文把这个毛病叫「架构循环性」:先假设了需要解释的结构。
作者因此把生物合理性看成一条连续的轴:一个学习模型有多少结构是预先指定的,有多少是从局部规则里长出来的。反向传播和各类变体基本只让权重自组织,学习电路是人设计的。论文想往下再走一层,让学习电路本身也从随机连接里长出来。
核心单元叫 Self-Assembling Motif(SAM),由两条信息流和四组突触构成:
学习规则统一为「突触后信号乘突触前信号」的外积,再加一项衰减。关键是突触后信号取自另一条流送来的反馈,而不是本神经元自身的前向激活,这就是异突触(heterosynaptic)可塑性。四个矩阵用同一种形式更新,只有学习率不同,V̄ 的学习率通常是 W 的四倍。
理论部分最关键的一步是 Lemma 1:当 V 与 V̄ 的学习率相等时,两条流的接口失配 Ev = V − V̄ᵀ 每步按 (1−γ) 衰减,所以 V̄ 会自己收敛到 V 的转置,不需要人工接线。接口对齐之后,Theorem 1 给出 W 的更新近似为 H·(SGD 更新),其中 H = V̄V̄ᵀ 是半正定矩阵,相当于一个自己学出来的矩阵学习率。残差项由两类对齐误差界定:接口误差 Ev 和通路误差 Ep(前向算子与反馈算子之差)。
唯一预设的是「两条流且跨流只起调制作用」的骨架,论文把它解释为避免驱动性闭环、保证感知稳定的最低要求。
对比对象是 SGD、FA、WM、KP,全连接网络,每组五次运行,准确率(%):
| 数据集 | SGD | FA | WM | KP | SAM |
| CIFAR10 | 50.36 | 47.85 | 49.35 | 48.16 | 51.91 |
| MNIST | 98.44 | 97.80 | 98.40 | 98.45 | 98.85 |
| Fashion MNIST | 88.63 | 85.41 | 88.34 | 88.52 | 88.86 |
| ChestMNIST | 73.26 | - | - | - | 73.21 |
| SVHN | 78.20 | 78.03 | 78.08 | 78.20 | 78.50 |
| STL10 | 41.00 | 39.29 | 39.48 | 40.32 | 41.50 |
ChestMNIST 和 PathMNIST 的基线列在抽取文本里错位,所以只列了能确认的数字。SAM 在七个数据集中六个高于 SGD,ChestMNIST 低 0.05 个点。差距多数在零点几到一点五个点,处在追平的量级。
消融实验(CIFAR-10):只更新 W 只能到线性模型水平;只额外开放 V̄ 可塑,从约 40% 升到约 46%;四组全部可塑才到 SGD 水平。下行通路加宽也有帮助,上行宽度固定 200 时,下行参数量约为上行 5 到 8 倍最好,CIFAR10 上峰值在 8 倍附近。
对做模型的人,这不是一个能替代反向传播的训练方法,它在 GPU 上比 SGD 多出一整条反馈通路。价值在神经科学一侧:它给出一组可检验的预测,例如皮层里应存在四组可塑突触、反馈连接数量应多于前馈(论文引用 V1 到 LGN 的反馈约为视网膜突触的 10 倍)。对 AI 一侧,「让优化器的预条件矩阵自己学出来」是个有意思的副产物,但论文没有在大模型上验证。