告别脆弱的工程技巧？用最优传输重构DINOv2等自监督模型
RexDouglass · x · 2026-07-30
推文探讨了当前以 DINOv2 为代表的自监督学习（SSL）模型的技术局限性。作者指出，这类模型虽然效果出众，但为了防止表征坍塌，不得不依赖 EMA（指数移动平均）、停止梯度（stop-gradients）和自定义中心化等“脆弱的工程技巧”。
随后提出了一种新思路：探讨是否能用纯粹且具备数学基础的最优传输理论，来替代这些依赖经验主义的启发式方法，从而从根本上优化模型训练。
「研究」频道最新
- AI 助力 CAR-T 疗法突破：临床前完全消除致命脑癌 — Dr_Singularity · 2026-07-30
- DeepMind 论文：LLM 能推导相对论，但无法凭数据发明它 — rohanpaul_ai · 2026-07-30
- 开源权重只是静态存档，无法像开源软件一样沉淀社区贡献 — shashib · 2026-07-30
- 具身智能新突破：强化学习让工业机器人吞吐量提升85% — lukas_m_ziegler · 2026-07-30
- 350美元造人形机器人：zeroth-bot开源软硬件与仿真环境 — tom_doerr · 2026-07-30
- AI监督AI存在串通风险，研究者呼吁引入形式化验证 — FinanceYF5 · 2026-07-30