告别脆弱的工程技巧？用最优传输重构DINOv2等自监督模型
RexDouglass · x · 2026-07-30
推文探讨了当前以 DINOv2 为代表的自监督学习（SSL）模型的技术局限性。作者指出，这类模型虽然效果出众，但为了防止表征坍塌，不得不依赖 EMA（指数移动平均）、停止梯度（stop-gradients）和自定义中心化等“脆弱的工程技巧”。
随后提出了一种新思路：探讨是否能用纯粹且具备数学基础的最优传输理论，来替代这些依赖经验主义的启发式方法，从而从根本上优化模型训练。
「研究」频道最新
- 研究者提出 scaling laws 缺失参数 H：近年进步多靠人类投入而非算力 — lateinteraction · 2026-10-16
- 一个古老结构单元撑起免疫系统：免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 论文灌水压垮评审系统,研究者主张大量直接桌面拒稿 — boknilev · 2026-10-16
- 中国后量子签名 Origami 被攻破，公钥即可伪造签名 — matthew_d_green · 2026-10-16
- 模型能力还是基础设施？Agent 评测的分层归因难题 — jrxna · 2026-10-16
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16