LeVJEPA:免防坍缩目标的视频预训练,算力降至 1/5.6~1/20.8

Cohere_Labs · x · 2026-09-03

Cohere Labs 开放科学社区公布下周两场线上分享,其一为 LeVJEPA 论文讲解:首个在 LeJEPA 免坍缩目标下训练的视频编码器,无需 EMA 目标编码器、stop-gradient 等架构不对称手段,也不做像素空间掩码重建;架构仅含编码器与投影器,目标函数只剩一个超参数。要点:- 用 SIGReg 正则的全局/局部视图不变性损失,提供可证明的防坍缩保证;- 均匀随机 token 丢弃降低预训练成本的同时提升下游精度;- 相同数据与轮数下,在 ViT-S/B/L 上以 5.620.8 倍更少预训练算力持平或超过 V-JEPA 2;- 相同总 FLOPs 下,ImageNet-1K 超最强视频基线 7.6 分,运动类基准仍有竞争力。另一场为 Raymond Chua 讲持续强化学习中的预测表征与记忆。