LeVJEPA 视频预训练新范式大幅降低计算量

研究团队提出 LeVJEPA，一种基于 SIGReg（Sign Regularization）的视频基础模型预训练新方法，无需复杂组件与启发式设计。它是首个在 LeJEPA 无崩溃目标下训练的视频编码器，在相同 epoch 和相同数据条件下，LeVJEPA 在 ViT-S/B/L 上以 5.6 至 20.8 倍更少的预训练计算量即可保持性能持平，显著提升了视频预训练的效率。

2026-08-28 ~ 2026-08-28 · 2 条相关