LeVJEPA:用最多 1/20 算力追平 V-JEPA 2 的视频预训练新方法
Cohere_Labs · x · 2026-09-08
Lukas Kuhn 等人(作者含 Yann LeCun)发布 LeVJEPA:首个在 LeJEPA 无坍缩目标下训练的视频编码器,去掉了目标编码器、掩码预测、stop-gradient 和师生调度等全部启发式设计。
- 架构只有一个编码器加投影器,单一不变性损失,用 SIGReg 正则以可证明的方式防止坍缩,超参仅一个
- 预训练成本由编码器看到的 token 数决定;均匀随机 token 丢弃既降低成本又提升下游精度
- 同数据同轮数下,LeVJEPA 在 ViT-S/B/L 上以 5.620.8 倍更少的预训练算力追平或超过 V-JEPA 2
- 同等总 FLOPs 下,ImageNet-1K 上超过最强视频基线 7.6 个百分点,运动中心任务上保持竞争力
论文已上 arXiv(2608.27395),Cohere Labs 相关直播讲解同步进行。
「研究」频道最新
- 数学家用 Astra 70 分钟证出一周未解的渐近式，赞其远胜 Sol — arampell · 2026-09-08
- 可把 PR 批量转成 RL 环境，已有创企据此拿到种子轮 — lvwerra · 2026-09-08
- Google 发布 AlphaGenome Atlas：90 亿个 DNA 变异的零代码查询平台 — GoogleAI · 2026-09-08
- Kimi K2 Horizon 嵌入 Uno 离散扩散，速度超 EAGLE-3 — HongyiWang10 · 2026-09-08
- ECCV 2026 SLAM 工作坊论文合集上线 — ducha_aiki · 2026-09-08
- TerraSky3D 空地多视角数据集发布：150 个场景 5 万张图，已登陆 Hugging Face — ducha_aiki · 2026-09-08