ScoreCLR 用扩散分数网络替代负样本,CIFAR-10 嵌入近满秩
canaesseth · x · 2026-11-17
Christopher Marouani、Grigory Bartosh 与 Christian A. Naesseth 发布首篇预印本 ScoreCLR(arXiv:2611.18469),提出一种新的对比表征学习方法。
- 核心思路:对比学习的难点在于估计「排斥力」项,通常需要大 batch、高方差且易受维度灾难影响。ScoreCLR 通过最大化两个潜在视图间互信息的框架,推导出涉及潜在表征分数(score)的等价目标,再用去噪分数匹配训练一个轻量网络与编码器联合估计该分数。
- 关键优势:用可学习的排斥项替代显式负样本 batch,成本随 batch size 线性增长而非二次方。
- 实验结果:在 CIFAR-10 与 ImageNet-100 上,与 SimCLR 相同配方下线性探针精度损失极小,但 projector 输出的有效秩显著更高——CIFAR-10 上达 229/256,对比 SimCLR 的 96 与 LeJEPA 的 58。
论文还提出多噪声水平正则化与高斯先验等技巧。
「研究」频道最新
- Together 复盘 Megakernels:去年造今年删,Torch Inductor 已够用 — HazyResearch · 2026-11-17
- 斯坦福 HAI 发 2026 Hoffman-Yee 资助:7 支团队分 350 万美元 — StanfordHAI · 2026-11-17
- 研究者吐槽:动作合成模型为何都要求 prompt 以 A person 开头 — andrew_n_carr · 2026-11-17
- Omar Khattab 论有影响力的 AI 研究:做项目而非堆论文 — lateinteraction · 2026-11-17
- 编码 Agent 三分之二 token 烧在首次编辑后:先声明计划可大幅省 token — rseroter · 2026-11-17
- Apptronik 工程师:人形机器人全身控制靠执行器建模而非域随机化 — andrew_n_carr · 2026-11-17