对比学习为何有效的理论分析

MIT · hf · 2026-07-15

这篇工作试图回答：为什么用很简单的图像和增强做对比学习，也能学出对下游任务有用的表示？作者从解析角度推导了在一类基础增强和满足平稳统计的图像数据集上，对比损失对应的**最优表示**。结果显示： - 在某些增强设定下，最优解可以由一个 CNN 实现，其结构包括： - 第一层是**正弦滤波器** - 后接逐点非线性 - 全局平均池化 - 最后一层线性层做**部分白化** - 对更复杂的增强，最优权重仍然呈现为正弦形式。 - 正弦的频率与权重可以通过一个简单的 **waterfilling** 算法，根据数据集的期望功率谱计算出来。实验部分在不同图像数据集和增强设置上验证了这一分析：用 SGD 训练的网络，第一层确实会学到正弦样式的滤波器，并表现出部分白化行为。