Domingos 重提旧论:梯度下降学到的模型都近似核机器

pmddomingos · x · 2026-10-18

知名研究者 Pedro Domingos 再次提醒:梯度下降所做的本质上只是通过叠加(superposition)把训练样本记忆到权重向量里。他引用自己 2020 年的论文《Every Model Learned by Gradient Descent Is Approximately a Kernel Machine》。论文指出，深度学习常被认为能自动发现新表示，但用标准梯度下降训练的深度网络在数学上近似等价于核机器——即直接记住数据并借助相似度函数做预测。这意味着网络权重实际上是训练样本的叠加，网络架构则把目标函数的知识编入了核函数。该观点有助于提升深度网络权重的可解释性，也可能启发更好的学习算法。